As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Versões de lançamento 5.x do Amazon EMR
Esta seção contém versões de aplicações, notas da versão, versões de componentes e classificações de configuração disponíveis em cada versão de lançamento 5.x do Amazon EMR.
Ao executar um cluster, você pode escolher entre várias versões do Amazon EMR. Isso permite que você teste e use versões de aplicações que atendem aos seus requisitos de compatibilidade. Você especifica o número da versão com o *rótulo da versão*. Os rótulos de versão estão no formato `emr-x.x.x`. Por exemplo, .`emr-7.12.0`
Novas versões do Amazon EMR são disponibilizadas em diferentes regiões durante um período de vários anos, começando com a primeira região na data da versão inicial. A versão mais recente pode não estar disponível em sua região durante esse período.
Para obter uma tabela abrangente das versões de aplicações em cada versão 5.x do Amazon EMR, consulte [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md).
**Topics**
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versão 5.36.2 do Amazon EMR](emr-5362-release.md)
+ [Versão 5.36.1 do Amazon EMR](emr-5361-release.md)
+ [Versão 5.36.0 do Amazon EMR](emr-5360-release.md)
+ [Versão 5.35.0 do Amazon EMR](emr-5350-release.md)
+ [Versão 5.34.0 do Amazon EMR](emr-5340-release.md)
+ [Versão 5.33.1 do Amazon EMR](emr-5331-release.md)
+ [Versão 5.33.0 do Amazon EMR](emr-5330-release.md)
+ [Versão 5.32.1 do Amazon EMR](emr-5321-release.md)
+ [Versão 5.32.0 do Amazon EMR](emr-5320-release.md)
+ [Versão 5.31.1 do Amazon EMR](emr-5311-release.md)
+ [Versão 5.31.0 do Amazon EMR](emr-5310-release.md)
+ [Versão 5.30.2 do Amazon EMR](emr-5302-release.md)
+ [Versão 5.30.1 do Amazon EMR](emr-5301-release.md)
+ [Versão 5.30.0 do Amazon EMR](emr-5300-release.md)
+ [Versão 5.29.0 do Amazon EMR](emr-5290-release.md)
+ [Versão 5.28.1 do Amazon EMR](emr-5281-release.md)
+ [Versão 5.28.0 do Amazon EMR](emr-5280-release.md)
+ [Versão 5.27.1 do Amazon EMR](emr-5271-release.md)
+ [Versão 5.27.0 do Amazon EMR](emr-5270-release.md)
+ [Versão 5.26.0 do Amazon EMR](emr-5260-release.md)
+ [Versão 5.25.0 do Amazon EMR](emr-5250-release.md)
+ [Versão 5.24.1 do Amazon EMR](emr-5241-release.md)
+ [Versão 5.24.0 do Amazon EMR](emr-5240-release.md)
+ [Versão 5.23.1 do Amazon EMR](emr-5231-release.md)
+ [Versão 5.23.0 do Amazon EMR](emr-5230-release.md)
+ [Versão 5.22.0 do Amazon EMR](emr-5220-release.md)
+ [Versão 5.21.2 do Amazon EMR](emr-5212-release.md)
+ [Versão 5.21.1 do Amazon EMR](emr-5211-release.md)
+ [Versão 5.21.0 do Amazon EMR](emr-5210-release.md)
+ [Versão 5.20.1 do Amazon EMR](emr-5201-release.md)
+ [Versão 5.20.0 do Amazon EMR](emr-5200-release.md)
+ [Versão 5.19.1 do Amazon EMR](emr-5191-release.md)
+ [Versão 5.19.0 do Amazon EMR](emr-5190-release.md)
+ [Versão 5.18.1 do Amazon EMR](emr-5181-release.md)
+ [Versão 5.18.0 do Amazon EMR](emr-5180-release.md)
+ [Versão 5.17.2 do Amazon EMR](emr-5172-release.md)
+ [Versão 5.17.1 do Amazon EMR](emr-5171-release.md)
+ [Versão 5.17.0 do Amazon EMR](emr-5170-release.md)
+ [Versão 5.16.1 do Amazon EMR](emr-5161-release.md)
+ [Versão 5.16.0 do Amazon EMR](emr-5160-release.md)
+ [Versão 5.15.1 do Amazon EMR](emr-5151-release.md)
+ [Versão 5.15.0 do Amazon EMR](emr-5150-release.md)
+ [Versão 5.14.2 do Amazon EMR](emr-5142-release.md)
+ [Versão 5.14.1 do Amazon EMR](emr-5141-release.md)
+ [Versão 5.14.0 do Amazon EMR](emr-5140-release.md)
+ [Versão 5.13.1 do Amazon EMR](emr-5131-release.md)
+ [Versão 5.13.0 do Amazon EMR](emr-5130-release.md)
+ [Versão 5.12.3 do Amazon EMR](emr-5123-release.md)
+ [Versão 5.12.2 do Amazon EMR](emr-5122-release.md)
+ [Versão 5.12.1 do Amazon EMR](emr-5121-release.md)
+ [Versão 5.12.0 do Amazon EMR](emr-5120-release.md)
+ [Versão 5.11.4 do Amazon EMR](emr-5114-release.md)
+ [Versão 5.11.3 do Amazon EMR](emr-5113-release.md)
+ [Versão 5.11.2 do Amazon EMR](emr-5112-release.md)
+ [Versão 5.11.1 do Amazon EMR](emr-5111-release.md)
+ [Versão 5.11.0 do Amazon EMR](emr-5110-release.md)
+ [Versão 5.10.1 do Amazon EMR](emr-5101-release.md)
+ [Versão 5.10.0 do Amazon EMR](emr-5100-release.md)
+ [Versão 5.9.1 do Amazon EMR](emr-591-release.md)
+ [Versão 5.9.0 do Amazon EMR](emr-590-release.md)
+ [Versão 5.8.3 do Amazon EMR](emr-583-release.md)
+ [Versão 5.8.2 do Amazon EMR](emr-582-release.md)
+ [Versão 5.8.1 do Amazon EMR](emr-581-release.md)
+ [Versão 5.8.0 do Amazon EMR](emr-580-release.md)
+ [Versão 5.7.1 do Amazon EMR](emr-571-release.md)
+ [Versão 5.7.0 do Amazon EMR](emr-570-release.md)
+ [Versão 5.6.1 do Amazon EMR](emr-561-release.md)
+ [Versão 5.6.0 do Amazon EMR](emr-560-release.md)
+ [Versão 5.5.4 do Amazon EMR](emr-554-release.md)
+ [Versão 5.5.3 do Amazon EMR](emr-553-release.md)
+ [Versão 5.5.2 do Amazon EMR](emr-552-release.md)
+ [Versão 5.5.1 do Amazon EMR](emr-551-release.md)
+ [Versão 5.5.0 do Amazon EMR](emr-550-release.md)
+ [Versão 5.4.1 do Amazon EMR](emr-541-release.md)
+ [Versão 5.4.0 do Amazon EMR](emr-540-release.md)
+ [Versão 5.3.2 do Amazon EMR](emr-532-release.md)
+ [Versão 5.3.1 do Amazon EMR](emr-531-release.md)
+ [Versão 5.3.0 do Amazon EMR](emr-530-release.md)
+ [Versão 5.2.3 do Amazon EMR](emr-523-release.md)
+ [Versão 5.2.2 do Amazon EMR](emr-522-release.md)
+ [Versão 5.2.1 do Amazon EMR](emr-521-release.md)
+ [Versão 5.2.0 do Amazon EMR](emr-520-release.md)
+ [Versão 5.1.1 do Amazon EMR](emr-511-release.md)
+ [Versão 5.1.0 do Amazon EMR](emr-510-release.md)
+ [Versão 5.0.3 do Amazon EMR](emr-503-release.md)
+ [Versão 5.0.2 do Amazon EMR](emr-502-release.md)
+ [Versão 5.0.1 do Amazon EMR](emr-501-release.md)
+ [Versão 5.0.0 do Amazon EMR](emr-500-release.md)
# Versões de aplicações nas versões 5.x do Amazon EMR
A tabela a seguir lista as versões das aplicações que estão disponíveis em cada versão 5.x do Amazon EMR.
**Informações da versão da aplicação**
| | emr-5.36.2 | emr-5.36.1 | emr-5.36.0 | emr-5.35.0 | emr-5.34.0 | emr-5.33.1 | emr-5.33.0 | emr-5.32.1 | emr-5.32.0 | emr-5.31.1 | emr-5.31.0 | emr-5.30.2 | emr-5.30.1 | emr-5.30.0 | emr-5.29.0 | emr-5.28.1 | emr-5.28.0 | emr-5.27.1 | emr-5.27.0 | emr-5.26.0 | emr-5.25.0 | emr-5.24.1 | emr-5.24.0 | emr-5.23.1 | emr-5.23.0 | emr-5.22.0 | emr-5.21.2 | emr-5.21.1 | emr-5.21.0 | emr-5.20.1 | emr-5.20.0 | emr-5.19.1 | emr-5.19.0 | emr-5.18.1 | emr-5.18.0 | emr-5.17.2 | emr-5.17.1 | emr-5.17.0 | emr-5.16.1 | emr-5.16.0 | emr-5.15.1 | emr-5.15.0 | emr-5.14.2 | emr-5.14.1 | emr-5.14.0 | emr-5.13.1 | emr-5.13.0 | emr-5.12.3 | emr-5.12.2 | emr-5.12.1 | emr-5.12.0 | emr-5.11.4 | emr-5.11.3 | emr-5.11.2 | emr-5.11.1 | emr-5.11.0 | emr-5.10.1 | emr-5.10.0 | emr-5.9.1 | emr-5.9.0 | emr-5.8.3 | emr-5.8.2 | emr-5.8.1 | emr-5.8.0 | emr-5.7.1 | emr-5.7.0 | emr-5.6.1 | emr-5.6.0 | emr-5.5.4 | emr-5.5.3 | emr-5.5.2 | emr-5.5.1 | emr-5.5.0 | emr-5.4.1 | emr-5.4.0 | emr-5.3.2 | emr-5.3.1 | emr-5.3.0 | emr-5.2.3 | emr-5.2.2 | emr-5.2.1 | emr-5.2.0 | emr-5.1.1 | emr-5.1.0 | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.12.206 | 1.12.206 | 1.12.206 | 1.12.159 | 1.11.970 | 1.11.970 | 1.11.970 | 1.11.890 | 1.11.890 | 1.11.852 | 1.11.852 | 1.11.759 | 1.11.759 | 1.11.759 | 1.11.682 | 1.11.659 | 1.11.659 | 1.11.615 | 1.11.615 | 1.11.595 | 1.11.566 | 1.11.546 | 1.11.546 | 1.11.519 | 1.11.519 | 1.11.510 | 1.11.479 | 1.11.479 | 1.11.479 | 1.11.461 | 1.11.461 | 1.11.433 | 1.11.433 | 1.11.393 | 1.11.393 | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.333 | 1.11.333 | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.267 | 1.11.267 | 1.11.267 | 1.11.267 | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.221 | 1.11.221 | 1.11.183 | 1.11.183 | 1.11.160 | 1.11.160 | 1.11.160 | 1.11.160 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Delta | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Flink | 1.14.2 | 1.14.2 | 1.14.2 | 1.14.2 | 1.13.1 | 1.12.1 | 1.12.1 | 1.11.2 | 1.11.2 | 1.11.0 | 1.11.0 | 1.10.0 | 1.10.0 | 1.10.0 | 1.9.1 | 1.9.0 | 1.9.0 | 1.8.1 | 1.8.1 | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.2 | 1.6.2 | 1.6.1 | 1.6.1 | 1.6.0 | 1.6.0 | 1.5.2 | 1.5.2 | 1.5.2 | 1.5.0 | 1.5.0 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.1 | 1.2.1 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.1.4 | 1.1.4 | 1.1.4 | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 | - | - | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.4 | 1.4.4 | 1.4.4 | 1.4.4 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 |
| HCatalog | 2,3.9-amzn-2 | 2,3.9-amzn-2 | 2,3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-3 | 2.10.1-amzn-2 | 2.10.1-amzn-1.1 | 2.10.1-amzn-1 | 2.10.1-amzn-0.1 | 2.10.1-amzn-0 | 2.10.0-amzn-0.1 | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 | 2.8.5-amzn-6 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-3 | 2.8.5-amzn-3 | 2.8.5-amzn-2 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-0 | 2.8.5-amzn-0 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-0 | 2.8.4-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-5 | 2.7.3-amzn-5 | 2.7.3-amzn-4 | 2.7.3-amzn-4 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 |
| Hive | 2,3.9-amzn-2 | 2,3.9-amzn-2 | 2,3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.9.0-amzn-2 | 0.9.0-amzn-0 | 0.7.0-amzn-1 | 0.7.0-amzn-1 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.5.2-incubating | 0.5.2-incubating | 0.5.2-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 | 4.8.0 | 4.8.0 | 4.7.1 | 4.7.1 | 4.6.0 | 4.6.0 | 4.6.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 | 1.2.2 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 0.9.6 | 0.9.6 | 0.9.6 | 0.9.6 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.2- -1,4 HBase | 4.14.2- -1,4 HBase | 4.14.2- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.267-amzn-1 | 0.267-amzn-1 | 0.267-amzn-1 | 0.266-amzn-0 | 0.261-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.240.1-amzn-0 | 0.240.1-amzn-0 | 0.238.3-amzn-0 | 0.238.3-amzn-0 | 0.232 | 0.232 | 0.232 | 0.227 | 0.227 | 0.227 | 0.224 | 0.224 | 0.220 | 0.220 | 0.219 | 0.219 | 0.215 | 0.215 | 0.215 | 0.215 | 0.215 | 0.215 | 0.214 | 0.214 | 0.212 | 0.212 | 0.210 | 0.210 | 0.206 | 0.206 | 0.206 | 0.203 | 0.203 | 0.194 | 0.194 | 0.194 | 0.194 | 0.194 | 0.194 | 0.194 | 0.188 | 0.188 | 0.188 | 0.188 | 0.187 | 0.187 | 0.187 | 0.187 | 0.187 | 0.187 | 0.187 | 0.184 | 0.184 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.166 | 0.166 | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 | 0.152.3 | 0.152.3 | 0.152.3 | 0.152.3 | 0.150 | 0.150 | 0.150 |
| Spark | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-1 | 2.4.8-amzn-0 | 2.4.7-amzn-1.1 | 2.4.7-amzn-1 | 2.4.7-amzn-0.1 | 2.4.7-amzn-0 | 2.4.6-amzn-0.1 | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 | 2.4.5-amzn-0 | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.3 | 2.4.3 | 2.4.2 | 2.4.2 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.1.1 | 2.1.1 | 2.1.1 | 2.1.1 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.1 | 2.0.1 | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.3.1 | 2.3.1 | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.13.1 | 1.13.1 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.11.0 | 1.11.0 | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.0 | 0.7.0 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
# Versão 5.36.2 do Amazon EMR
## Versões 5.36.2 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.36.2 | emr-5.36.1 | emr-5.36.0 | emr-5.35.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.12.206 | 1.12.206 | 1.12.206 | 1.12.159 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.14.2 | 1.14.2 | 1.14.2 | 1.14.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2,3.9-amzn-2 | 2,3.9-amzn-2 | 2,3.9-amzn-2 | 2.3.9-amzn-0 |
| Hadoop | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-3 |
| Hive | 2,3.9-amzn-2 | 2,3.9-amzn-2 | 2,3.9-amzn-2 | 2.3.9-amzn-0 |
| Hudi | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.9.0-amzn-2 |
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.1.0 | 2.1.0 |
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 |
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating |
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.267-amzn-1 | 0.267-amzn-1 | 0.267-amzn-1 | 0.266-amzn-0 |
| Spark | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.10.0 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.36.2
As notas da versão a seguir incluem informações sobre a versão 5.36.2 do Amazon EMR. As alterações são referentes à versão 5.36.1. Para obter informações sobre o cronograma da versão, consulte o [log de alterações](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-5362-release.html#5362-changelog).
**Alterações, melhorias e problemas resolvidos**
+ Essa versão melhora a lógica de redução vertical da escala do cluster para que o Amazon EMR não reduza a escala dos nós centrais abaixo da configuração do fator de replicação do HDFS para o cluster. Essa melhoria atende aos requisitos de redundância de dados e reduz a chance de uma operação de ajuste de escala ser interrompida.
+ Esta versão adiciona um mecanismo de nova tentativa ao fluxo de trabalho de escalabilidade de clusters para clusters do EMR que executam o Presto ou o Trino. Essa melhoria reduz o risco de o redimensionamento do cluster ser executado indefinidamente devido a uma única operação de redimensionamento com falha. Ela também aprimora a utilização dos clusters, porque seu cluster aumenta e reduz a escala verticalmente com mais rapidez.
+ Corrige um problema em que as operações de redução vertical da escala do cluster podem ficar paralisadas enquanto o Amazon EMR desativa normalmente um nó central e ele se torna não íntegro antes de ser totalmente desativado.
+ Melhora a estabilidade de um nó em um cluster de alta disponibilidade com vários nós primários quando o Amazon EMR reinicia um único nó.
+ Otimiza o gerenciamento de logs com o Amazon EMR em execução no Amazon EC2. Como resultado, é possível ver uma pequena redução nos custos de armazenamento dos logs do cluster.
+ Melhora o gerenciamento dos arquivos de log de ZooKeeper transações que são mantidos nos nós primários para minimizar os cenários em que os arquivos de log ultrapassam os limites e interrompem as operações do cluster.
+ Corrige um bug raro que pode fazer com que um cluster de alta disponibilidade com vários nós primários falhe por não conseguir se comunicar com o ResourceManager Yarn.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-5362-release.html)
## Versões de componente 5.36.2
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.16.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-notebook-env | 1.5.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway |
| emr-s3-dist-cp | 2.21.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.7.0 | EMR S3Select Connector |
| emrfs | 2.51.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.14.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| flink-jobmanager-config | 1.14.2 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.10.1-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.10.1-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.10.1-amzn-4 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.10.1-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.10.1-amzn-4 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.10.1-amzn-4 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.10.1-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.10.1-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.10.1-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.10.1-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2,3.9-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2,3.9-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2,3.9-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2,3.9-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2,3.9-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2,3.9-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2,3.9-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.10.1-amzn-1 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-spark | 0.10.1-amzn-1 | Biblioteca de pacotes para executar o Spark com o Hudi. |
| hudi-presto | 0.10.1-amzn-1 | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.10.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.13.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.8.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.68 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 11.0.194 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.267-amzn-1 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.267-amzn-1 | O serviço que executa partes de uma consulta. |
| presto-client | 0.267-amzn-1 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 4.0.2 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.8-amzn-2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.8-amzn-2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.8-amzn-2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.8-amzn-2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.10.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.36.2
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).
**Classificações do emr-5.36.2**
| Classificações | Description | Ações de reconfiguração |
| --- | --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. |
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. |
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. |
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn | Not available. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | Should not be reconfigured. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. |
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. |
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. |
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. |
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. |
| pig-env | Alterar os valores no ambiente do Pig. | Not available. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server. |
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer | Restarts EMR record server. |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. | Restarts EMR record server. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. | Restarts EMR record server. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restarts Oozie. |
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. |
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. |
## Log de alterações 5.36.2
**Log de alterações da versão 5.36.2 e das notas da versão**
| Data | Event | Description |
| --- | --- | --- |
| 2024-05-28 | Implantação concluída | Amazon EMR 5.36.2 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) |
| 2024-05-28 | Publicação de documentos | Notas da versão 5.36.2 do Amazon EMR publicadas pela primeira vez |
| 2024-05-20 | Lançamento inicial | A versão 5.36.2 do Amazon EMR foi implantada pela primeira vez em regiões comerciais limitadas |
# Versão 5.36.1 do Amazon EMR
## Versões 5.36.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.36.1 | emr-5.36.0 | emr-5.35.0 | emr-5.34.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.12.206 | 1.12.206 | 1.12.159 | 1.11.970 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.14.2 | 1.14.2 | 1.14.2 | 1.13.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2,3.9-amzn-2 | 2,3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 |
| Hadoop | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-3 | 2.10.1-amzn-2 |
| Hive | 2,3.9-amzn-2 | 2,3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 |
| Hudi | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.9.0-amzn-2 | 0.9.0-amzn-0 |
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.9.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 |
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating |
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.267-amzn-1 | 0.267-amzn-1 | 0.266-amzn-0 | 0.261-amzn-0 |
| Spark | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-1 | 2.4.8-amzn-0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.10.0 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.36.1
As notas da versão a seguir incluem informações para a versão 5.36.1 do Amazon EMR. As alterações são referentes à versão 5.36.0. Para obter informações sobre o cronograma da versão, consulte o [log de alterações](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-5361-release.html#5361-changelog).
**Alterações, melhorias e problemas resolvidos**
+ A versão 5.36.1 do Amazon EMR adiciona suporte ao arquivamento de logs no Amazon S3 durante a redução da escala do cluster verticalmente. Nas versões 5.x anteriores, só era possível arquivar arquivos de log no Amazon S3 durante o encerramento do cluster. Essa melhoria garante que os arquivos de log gerados no cluster persistam no Amazon S3 mesmo após o encerramento do nó. Para obter mais informações, consulte [Configurar registro em log e depuração do cluster](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html).
+ A versão 5.36.1 aprimora o daemon de gerenciamento de logs no cluster para monitorar pastas de log adicionais no cluster do EMR. Essa melhoria minimiza os cenários de utilização excessiva do disco.
+ A versão 5.36.1 reinicia automaticamente o daemon de gerenciamento de logs no cluster quando ele é interrompido. Essa melhoria reduz o risco de os nós parecerem não íntegros devido à utilização excessiva do disco.
+ A versão 5.36.1 corrige um problema no qual os daemons do Amazon EMR no nó primário manteriam metadados obsoletos para as instâncias encerradas no cluster. A manutenção de dados obsoletos pode fazer com que o uso da CPU e da memória no cluster cresça sem limites e acabe por causar falhas no cluster.
+ Para clusters que são iniciados com vários nós primários, a versão 5.36.1 corrige um problema no qual uma falha de hardware do Amazon EC2 em um dos nós primários pode causar a falha de um segundo nó primário e tornar o cluster instável.
+ Para clusters configurados com criptografia em trânsito, o Ajuste de escala gerenciado agora reconhece *dados embaralhados do Spark*. dados embaralhados do Spark são dados que o Spark redistribui entre partições para executar operações específicas. Durante a redução da escala verticalmente, o escalonamento gerenciado ignora as instâncias com dados embaralhados. Isso evita novas tentativas de trabalho e recálculos, que são onerosos em termos de preço e performance. Para obter mais informações sobre operações de shuffle, consulte o [Guia de programação do Spark](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations).
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-5361-release.html)
## Versões de componente 5.36.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.16.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-notebook-env | 1.5.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway |
| emr-s3-dist-cp | 2.21.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.7.0 | EMR S3Select Connector |
| emrfs | 2.51.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.14.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| flink-jobmanager-config | 1.14.2 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.10.1-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.10.1-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.10.1-amzn-4 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.10.1-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.10.1-amzn-4 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.10.1-amzn-4 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.10.1-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.10.1-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.10.1-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.10.1-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2,3.9-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2,3.9-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2,3.9-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2,3.9-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2,3.9-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2,3.9-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2,3.9-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.10.1-amzn-1 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-spark | 0.10.1-amzn-1 | Biblioteca de pacotes para executar o Spark com o Hudi. |
| hudi-presto | 0.10.1-amzn-1 | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.10.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.13.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.8.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.68 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 11.0.194 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.267-amzn-1 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.267-amzn-1 | O serviço que executa partes de uma consulta. |
| presto-client | 0.267-amzn-1 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 4.0.2 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.8-amzn-2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.8-amzn-2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.8-amzn-2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.8-amzn-2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.10.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.36.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).
**Classificações do emr-5.36.1**
| Classificações | Description | Ações de reconfiguração |
| --- | --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. |
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. |
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. |
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn | Not available. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | Should not be reconfigured. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. |
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. |
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. |
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. |
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. |
| pig-env | Alterar os valores no ambiente do Pig. | Not available. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server. |
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer | Restarts EMR record server. |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. | Restarts EMR record server. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. | Restarts EMR record server. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restarts Oozie. |
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. |
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. |
## Log de alterações 5.36.1
**Log de alterações da versão 5.36.1 e das notas da versão**
| Data | Event | Description |
| --- | --- | --- |
| 2023-07-26 | Atualizar | Novos rótulos de versão 2.0.20230612.0 e 2.0.20230628.0 do sistema operacional. |
| 2023-05-25 | Implantação concluída | Amazon EMR 5.36.1 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) |
| 2023-05-09 | Publicação de documentos | Notas da versão 5.36.1 do Amazon EMR publicadas pela primeira vez |
| 2023-05-04 | Lançamento inicial | A versão 5.36.1 do Amazon EMR foi implantada pela primeira vez em regiões comerciais limitadas |
# Versão 5.36.0 do Amazon EMR
## Versões 5.36.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.36.0 | emr-5.35.0 | emr-5.34.0 | emr-5.33.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.12.206 | 1.12.159 | 1.11.970 | 1.11.970 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.14.2 | 1.14.2 | 1.13.1 | 1.12.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2,3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 |
| Hadoop | 2.10.1-amzn-4 | 2.10.1-amzn-3 | 2.10.1-amzn-2 | 2.10.1-amzn-1.1 |
| Hive | 2,3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 |
| Hudi | 0.10.1-amzn-1 | 0.9.0-amzn-2 | 0.9.0-amzn-0 | 0.7.0-amzn-1 |
| Hue | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 |
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating |
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.267-amzn-1 | 0.266-amzn-0 | 0.261-amzn-0 | 0.245.1-amzn-0 |
| Spark | 2.4.8-amzn-2 | 2.4.8-amzn-1 | 2.4.8-amzn-0 | 2.4.7-amzn-1.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.36.0
As notas da versão a seguir incluem informações para a versão 5.36.0 do Amazon EMR. As alterações são referentes à versão 5.35.0.
Data da versão inicial: 15 de junho de 2022
**Novos atributos**
+ A versão 5.36.0 do Amazon EMR adiciona suporte à linguagem de definição de dados (DDL) com o Apache Spark em clusters habilitados para Apache Ranger. Isso permite o uso do Apache Ranger para gerenciar o acesso a operações como criar, alterar e descartar bancos de dados e tabelas de um cluster do Amazon EMR.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).
**nota**
Essa versão não recebe mais atualizações automáticas da AMI, pois foi substituída por uma ou mais versões de patch. A versão de patch é indicada pelo número após o segundo ponto decimal (`6.8.1`). Para ver se você está usando a versão de patch mais recente, verifique as versões disponíveis no [https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide) ou verifique o menu suspenso de **versões do Amazon EMR** quando criar um cluster no console ou use a ação de API [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) ou da CLI [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html). Para obter atualizações sobre novas versões, assine o feed RSS na página [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
| OsReleaseLabel (Versão Amazon Linux) | Versão do kernel do Amazon Linux | Data disponível | Regiões aceitas |
| --- | --- | --- | --- |
| 2.0.20260302.0 | 4.14.355-280.714.amzn2 | 13 de março de 2026 | África (Cidade do Cabo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Canadá (Central), Europa (Frankfurt), Europa (Zurique), Europa (Estocolmo), Europa (Milão), Europa (Espanha), Europa (Irlanda), Europa (Londres), Europa (Paris), Israel (Tel Aviv), Oriente Médio (Emirados Árabes Unidos), Oriente Médio (Bahrein), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia) Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon) |
| 2.0.20260216.0 | 4.14.355-280.714.amzn2 | 25 de fevereiro de 2026 | África (Cidade do Cabo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Canadá (Central), Europa (Frankfurt), Europa (Zurique), Europa (Estocolmo), Europa (Milão), Europa (Espanha), Europa (Irlanda), Europa (Londres), Europa (Paris), Israel (Tel Aviv), Oriente Médio (Emirados Árabes Unidos), Oriente Médio (Bahrein), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia) Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon) |
| 2.0.20260120.1 | 4.14.355-280.713.amzn2 | 18 de fevereiro de 2026 | África (Cidade do Cabo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Canadá (Central), Europa (Frankfurt), Europa (Zurique), Europa (Estocolmo), Europa (Milão), Europa (Espanha), Europa (Irlanda), Europa (Londres), Europa (Paris), Israel (Tel Aviv), Oriente Médio (Emirados Árabes Unidos), Oriente Médio (Bahrein), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia) Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon) |
| 2.0.20251208.0 | 4.14.355-280.710.amzn2 | 13 de janeiro de 2026 | África (Cidade do Cabo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Canadá (Central), Europa (Frankfurt), Europa (Zurique), Europa (Estocolmo), Europa (Milão), Europa (Espanha), Europa (Irlanda), Europa (Londres), Europa (Paris), Israel (Tel Aviv), Oriente Médio (Emirados Árabes Unidos), Oriente Médio (Bahrein), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia) Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon) |
| 2.0.20251121.0 | 4.14.355-280.708.amzn2 | 16 de dezembro de 2025 | África (Cidade do Cabo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Canadá (Central), Europa (Frankfurt), Europa (Zurique), Europa (Estocolmo), Europa (Milão), Europa (Espanha), Europa (Irlanda), Europa (Londres), Europa (Paris), Israel (Tel Aviv), Oriente Médio (Emirados Árabes Unidos), Oriente Médio (Bahrein), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia) Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon) |
| 2.0.20251027.1 | 4.14.355-280.706.amzn2 | 10 de novembro de 2025 | África (Cidade do Cabo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Canadá (Central), Europa (Frankfurt), Europa (Zurique), Europa (Estocolmo), Europa (Milão), Europa (Espanha), Europa (Irlanda), Europa (Londres), Europa (Paris), Israel (Tel Aviv), Oriente Médio (Emirados Árabes Unidos), Oriente Médio (Bahrein), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia) Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon) |
| 2.0.20250929.2 | 4.14.355-280.695.amzn2 | 13 de outubro de 2025 | África (Cidade do Cabo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Canadá (Central), Europa (Frankfurt), Europa (Zurique), Europa (Estocolmo), Europa (Milão), Europa (Espanha), Europa (Irlanda), Europa (Londres), Europa (Paris), Israel (Tel Aviv), Oriente Médio (Emirados Árabes Unidos), Oriente Médio (Bahrein), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia) Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon) |
| 2.0.20250818.2 | 4.14.355-280.672.amzn2 | 17 de setembro de 2025 | África (Cidade do Cabo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Canadá (Central), Europa (Frankfurt), Europa (Zurique), Europa (Estocolmo), Europa (Milão), Europa (Espanha), Europa (Irlanda), Europa (Londres), Europa (Paris), Israel (Tel Aviv), Oriente Médio (Emirados Árabes Unidos), Oriente Médio (Bahrein), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia) Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon) |
| 2.0.20250808.1 | 4.14.355-280.664.amzn2 | 28 de agosto de 2025 | África (Cidade do Cabo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Canadá (Central), Europa (Frankfurt), Europa (Zurique), Europa (Estocolmo), Europa (Milão), Europa (Espanha), Europa (Irlanda), Europa (Londres), Europa (Paris), Israel (Tel Aviv), Oriente Médio (Emirados Árabes Unidos), Oriente Médio (Bahrein), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia) Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon) |
| 2.0.20250721.2 | 4.14.355-280.652.amzn2 | 14 de agosto de 2025 | África (Cidade do Cabo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Canadá (Central), Europa (Frankfurt), Europa (Zurique), Europa (Estocolmo), Europa (Milão), Europa (Espanha), Europa (Irlanda), Europa (Londres), Europa (Paris), Israel (Tel Aviv), Oriente Médio (Emirados Árabes Unidos), Oriente Médio (Bahrein), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia) Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon) |
| 2.0.20250623.0 | 4.14.355-277.647.amzn2 | 21 de julho de 2025 | África (Cidade do Cabo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Canadá (Central), Europa (Frankfurt), Europa (Zurique), Europa (Estocolmo), Europa (Milão), Europa (Espanha), Europa (Irlanda), Europa (Londres), Europa (Paris), Israel (Tel Aviv), Oriente Médio (Emirados Árabes Unidos), Oriente Médio (Bahrein), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia) Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon) |
| 2.0.20250610.0 | 4.14.355-277.647.amzn2 | 14 de julho de 2025 | Europa (Estocolmo), Oriente Médio (Bahrein), China (Pequim), Ásia-Pacífico (Mumbai), Europa (Paris), Ásia-Pacífico (Jacarta), Leste dos EUA (Ohio), África (Cidade do Cabo), Europa (Irlanda), Oriente Médio (Emirados Árabes Unidos), Europa (Frankfurt), América do Sul (São Paulo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Hyderabad), Leste dos EUA (Norte da Virgínia), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Europa (Londres), Europa (Milão), Ásia-Pacífico (Tóquio), (Leste dos EUA), (Oeste dos EUA), Oeste dos EUA (Oregon) AWS GovCloud , Oeste dos EUA (Norte da Califórnia) AWS GovCloud , Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney) ), Israel (Tel Aviv), Canadá (Central), Europa (Espanha), China (Ningxia), Europa (Zurique) |
| 2.0.20250527.1 | 4.14.355-277.647.amzn2 | 19 de junho de 2025 | Europa (Estocolmo), Oriente Médio (Bahrein), Ásia-Pacífico (Mumbai), Europa (Paris), Ásia-Pacífico (Jacarta), Leste dos EUA (Ohio), África (Cidade do Cabo), Europa (Irlanda), Oriente Médio (Emirados Árabes Unidos), Europa (Frankfurt), América do Sul (São Paulo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Hyderabad), Leste dos EUA (Norte da Virgínia), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Europa (Londres), Ásia-Pacífico (Melbourne), Europa (Milão), Ásia-Pacífico (Tóquio), Oeste dos EUA (Oregon), Oeste dos EUA (N. da Califórnia), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Israel (Tel Aviv), Canadá (Central), Europa (Espanha), Europa (Zurique) |
| 2.0.20250512.0 | 4.14.355-277.643.amzn2 | 04 de junho de 2025 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Milão), Europa (Paris), Europa (Estocolmo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Osaka), Ásia-Pacífico (Seul)), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), (Leste dos EUA), (Oeste dos AWS GovCloud EUA), China (Pequim), China (Ningxia) AWS GovCloud |
| 2.0.20250428.0 | 4.14.355-276.639.amzn2 | 23 de maio de 2025 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Milão), Europa (Paris), Europa (Espanha), Europa (Estocolmo), Europa (Zurique), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Osaka), Ásia-Pacífico (Seul), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Oriente Médio (Emirados Árabes Unidos), Canadá (Central), Israel (Tel Aviv) |
| 2.0.20250414.0 | 4.14.355-276.618.amzn2 | 12 de maio de 2025 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia) AWS GovCloud |
| 2.0.20250321.0 | 4.14.355 | 09 de abril de 2025 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia) AWS GovCloud |
| 2.0.20250305.0 | 4.14.355 | 18 de março de 2025 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia) AWS GovCloud |
| 2.0.20250220.0 | 4.14.355 | 08 de março de 2025 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia) AWS GovCloud |
| 2.0.20250201.0 | 4.14.355 | 28 de fevereiro de 2025 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia) AWS GovCloud |
| 2.0.20250123.4 | 4.14.355 | 27 de janeiro de 2025 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia) AWS GovCloud |
| 2.0.20250116.0 | 4.14.355 | 23 de janeiro de 2025 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia) AWS GovCloud |
| 2.0.20241217.0 | 4.14.355 | 8 de janeiro de 2025 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia AWS GovCloud ), Ásia Pacífico (Hyderabad), Oriente Médio (EAU), Europa (Espanha), Europa (Zurique), Ásia-Pacífico (Melbourne), Israel (Tel Aviv) |
| 2.0.20240709.1 | 4.14.348 | 23 de julho de 2024 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia AWS GovCloud ), Ásia Pacífico (Hyderabad), Oriente Médio (EAU), Europa (Espanha), Europa (Zurique), Ásia-Pacífico (Melbourne), Israel (Tel Aviv) |
| 2.0.20230504.1 | 4.14.313 | 16 de maio de 2023 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Estocolmo), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Asia Pacific (Osaka), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein) |
| 2.0.20230418.0 | 4.14.311 | 3 de maio de 2023 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Estocolmo), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Asia Pacific (Osaka), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein) |
| 2.0.20230404.1 | 4.14.311 | 18 de abril de 2023 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Estocolmo), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Asia Pacific (Osaka), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein) |
| 2.0.20230404.0 | 4.14.311 | 10 de abril de 2023 | Leste dos EUA (Norte da Virgínia), Europa (Paris) |
| 2.0.20230320.0 | 4.14.309 | 30 de março de 2023 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Estocolmo), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Asia Pacific (Osaka), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein) |
| 2.0.20230307.0 | 4.14.305 | 15 de março de 2023 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Estocolmo), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Asia Pacific (Osaka), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein) |
| 2.0.20230207.0 | 4.14.304 | 22 de fevereiro de 2023 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Estocolmo), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Asia Pacific (Osaka), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein) |
| 2.0.20230119.1 | 4.14.301 | 3 de fevereiro de 2023 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Estocolmo), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Asia Pacific (Osaka), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein) |
| 2.0.20221210.1 | 4.14.301 | 22 de dezembro de 2023 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Estocolmo), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Asia Pacific (Osaka), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein) |
| 2.0.20221103.3 | 4.14.296 | 5 de dezembro de 2022 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Estocolmo), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Asia Pacific (Osaka), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein) |
| 2.0.20221004.0 | 4.14.294 | 2 de novembro de 2022 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Estocolmo), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Asia Pacific (Osaka), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein) |
| 2.0.20220912.1 | 4.14.291 | 7 de outubro de 2022 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Estocolmo), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Asia Pacific (Osaka), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein) |
| 2.0.20220719.0 | 4.14.287 | 10 de agosto de 2022 | Oeste dos EUA (Norte da Califórnia), Europa (Paris), Europa (Estocolmo), Europa (Frankfurt), Ásia-Pacífico (Mumbai), Oriente Médio (Bahrein) |
| 2.0.20220426.0 | 4.14.281 | 14 de junho de 2022 | Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Estocolmo), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Asia Pacific (Osaka), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein) |
**Alterações, melhorias e problemas resolvidos**
+ As atualizações do Amazon EMR 5.36.0 agora oferecem suporte a: aws-sdk 1.12.206, Hadoop 2.10.1-amzn-4, Hive 2.3.9-amzn-2, Hudi 0.10.1-amzn-1, Spark 2.4.8-amzn-2, Presto 0.267-amzn-1, conectores do Amazon Glue 1.18.0, EMRFS 2.51.0.
**Problemas conhecidos**
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
+ Duas ou mais partições são verificadas na mesma tabela.
+ Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
+ O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).
Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
+ Com as versões 5.36.0 e 6.6.0 a 6.9.0 do Amazon EMR, os componentes do serviço `SecretAgent` e `RecordServer` podem sofrer perda de dados de log devido a uma configuração incorreta do padrão de nome de arquivo nas propriedades do Log4j2. A configuração incorreta faz com que os componentes gerem somente um arquivo de log por dia. Quando a estratégia de rotação ocorre, ela substitui o arquivo existente em vez de gerar um novo arquivo de log, conforme esperado. Como solução alternativa, use uma ação de bootstrap para gerar arquivos de log a cada hora e acrescentar um número inteiro de incremento automático no nome do arquivo para lidar com a rotação.
Para as versões 6.6.0 a 6.9.0 do Amazon EMR, use a seguinte ação de bootstrap ao iniciar um cluster.
```
‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
```
Para o Amazon EMR 5.36.0, use a ação de bootstrap a seguir ao iniciar um cluster.
```
‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
```
## Versões de componente 5.36.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.16.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-notebook-env | 1.5.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway |
| emr-s3-dist-cp | 2.21.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.7.0 | EMR S3Select Connector |
| emrfs | 2.51.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.14.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| flink-jobmanager-config | 1.14.2 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.10.1-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.10.1-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.10.1-amzn-4 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.10.1-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.10.1-amzn-4 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.10.1-amzn-4 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.10.1-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.10.1-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.10.1-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.10.1-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2,3.9-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2,3.9-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2,3.9-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2,3.9-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2,3.9-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2,3.9-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2,3.9-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.10.1-amzn-1 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-spark | 0.10.1-amzn-1 | Biblioteca de pacotes para executar o Spark com o Hudi. |
| hudi-presto | 0.10.1-amzn-1 | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.10.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.13.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.8.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.68 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 11.0.194 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.267-amzn-1 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.267-amzn-1 | O serviço que executa partes de uma consulta. |
| presto-client | 0.267-amzn-1 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 4.0.2 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.8-amzn-2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.8-amzn-2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.8-amzn-2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.8-amzn-2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.10.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.36.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).
**Classificações do emr-5.36.0**
| Classificações | Description | Ações de reconfiguração |
| --- | --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. |
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. |
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. |
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn | Not available. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | Should not be reconfigured. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. |
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. |
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. |
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. |
| pig-env | Alterar os valores no ambiente do Pig. | Not available. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server. |
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer | Restarts EMR record server. |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. | Restarts EMR record server. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. | Restarts EMR record server. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restarts Oozie. |
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. |
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. |
# Versão 5.35.0 do Amazon EMR
## Versões 5.35.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.35.0 | emr-5.34.0 | emr-5.33.1 | emr-5.33.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.12.159 | 1.11.970 | 1.11.970 | 1.11.970 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.14.2 | 1.13.1 | 1.12.1 | 1.12.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 |
| Hadoop | 2.10.1-amzn-3 | 2.10.1-amzn-2 | 2.10.1-amzn-1.1 | 2.10.1-amzn-1 |
| Hive | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 |
| Hudi | 0.9.0-amzn-2 | 0.9.0-amzn-0 | 0.7.0-amzn-1 | 0.7.0-amzn-1 |
| Hue | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| JupyterHub | 1.4.1 | 1.4.1 | 1.2.2 | 1.2.2 |
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.8.0 | 1.8.0 | 1.7.0 | 1.7.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.1 | 5.2.1 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.266-amzn-0 | 0.261-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 |
| Spark | 2.4.8-amzn-1 | 2.4.8-amzn-0 | 2.4.7-amzn-1.1 | 2.4.7-amzn-1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.35.0
Esta é a nota de lançamento da versão 5.35.0 do Amazon EMR.
As notas da versão a seguir incluem informações para a versão 5.35.0 do Amazon EMR. As alterações são referentes à versão 5.34.0.
Data da versão inicial: 30 de março de 2022
**Novos atributos**
+ As aplicações da versão 5.35 do Amazon EMR que usam o Log4j 1.x e o Log4j 2.x são atualizadas para usar o Log4j 1.2.17 (ou superior) e o Log4j 2.17.1 (ou superior), respectivamente, e não exigem o uso de ações de bootstrap para mitigar os problemas de CVE em versões anteriores. Consulte [Abordagem para mitigar o CVE-2021-44228](emr-log4j-vulnerability.md).
**Alterações, melhorias e problemas resolvidos**
**Alterações no Flink**
| Alterar tipo | Description |
| --- | --- |
| Atualizações | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-5350-release.html) |
**Alterações no Hadoop**
| Alterar tipo | Description |
| --- | --- |
| Backports de código aberto do Hadoop desde o EMR 5.34.0 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-5350-release.html) |
| Alterações e correções no Hadoop | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-5350-release.html) |
**Alterações no Hive**
| Alterar tipo | Description |
| --- | --- |
| O Hive foi atualizado para a [versão 2.3.9](https://www.mail-archive.com/user@hive.apache.org/msg22311.html) de código aberto, incluindo estas correções do JIRA | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-5350-release.html) |
| Backports de código aberto do Hive desde o EMR 5.34.0 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-5350-release.html) |
| Atualizações e correções do Hive | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-5350-release.html) |
| Novos recursos | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-5350-release.html) |
**Alterações no Oozie**
| Alterar tipo | Description |
| --- | --- |
| Backports de código aberto do Oozie desde o EMR 5.34.0 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-5350-release.html) |
**Alterações no Pig**
| Alterar tipo | Description |
| --- | --- |
| Atualizações | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-5350-release.html) |
**Problemas conhecidos**
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
+ Duas ou mais partições são verificadas na mesma tabela.
+ Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
+ O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).
Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
## Versões de componente 5.35.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.15.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-notebook-env | 1.5.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway |
| emr-s3-dist-cp | 2.20.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.7.0 | EMR S3Select Connector |
| emrfs | 2.49,0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.14.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| flink-jobmanager-config | 1.14.2 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.10.1-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.10.1-amzn-3 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.10.1-amzn-3 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.10.1-amzn-3 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.10.1-amzn-3 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.10.1-amzn-3 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.10.1-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.10.1-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.10.1-amzn-3 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-3 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.10.1-amzn-3 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.9-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.9-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.9-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.9-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.9-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.9-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.9-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.9.0-amzn-2 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-spark | 0.9.0-amzn-2 | Biblioteca de pacotes para executar o Spark com o Hudi. |
| hudi-presto | 0.9.0-amzn-2 | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.10.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.13.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.8.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.68 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 10.1.243 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.266-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.266-amzn-0 | O serviço que executa partes de uma consulta. |
| presto-client | 0.266-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 4.0.2 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.8-amzn-1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.8-amzn-1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.8-amzn-1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.8-amzn-1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.10.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.35.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).
**Classificações do emr-5.35.0**
| Classificações | Description | Ações de reconfiguração |
| --- | --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. |
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. |
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. |
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn | Not available. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | Should not be reconfigured. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. |
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. |
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. |
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. |
| pig-env | Alterar os valores no ambiente do Pig. | Not available. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server. |
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer | Restarts EMR record server. |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. | Restarts EMR record server. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. | Restarts EMR record server. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restarts Oozie. |
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. |
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. |
# Versão 5.34.0 do Amazon EMR
## Versões 5.34.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.34.0 | emr-5.33.1 | emr-5.33.0 | emr-5.32.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.970 | 1.11.970 | 1.11.970 | 1.11.890 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.13.1 | 1.12.1 | 1.12.1 | 1.11.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 |
| Hadoop | 2.10.1-amzn-2 | 2.10.1-amzn-1.1 | 2.10.1-amzn-1 | 2.10.1-amzn-0.1 |
| Hive | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 |
| Hudi | 0.9.0-amzn-0 | 0.7.0-amzn-1 | 0.7.0-amzn-1 | 0.6.0-amzn-0 |
| Hue | 4.9.0 | 4.9.0 | 4.9.0 | 4.8.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| JupyterHub | 1.4.1 | 1.2.2 | 1.2.2 | 1.1.0 |
| Livy | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.8.0 | 1.7.0 | 1.7.0 | 1.7.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.1 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.261-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.240.1-amzn-0 |
| Spark | 2.4.8-amzn-0 | 2.4.7-amzn-1.1 | 2.4.7-amzn-1 | 2.4.7-amzn-0.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.3.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.10.0 | 0.9.0 | 0.9.0 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.34.0
As notas da versão a seguir incluem informações para a versão 5.34.0 do Amazon EMR. As alterações são referentes à versão 5.33.1.
Data da versão inicial: 20 de janeiro de 2022
Data da versão atualizada: 21 de março de 2022
**Novos atributos**
+ **[Ajuste de escala gerenciado] Otimização do ajuste de escala gerenciado de dados embaralhados do Spark**: para as versões 5.34.0 e posteriores do Amazon EMR e as versões 6.4.0 e posteriores do EMR, o ajuste de escala gerenciado agora reconhece dados embaralhados do Spark (dados que o Spark redistribui entre partições para executar operações específicas). Para obter mais informações sobre operações de shuffle, consulte [Usar ajuste de escala gerenciado do EMR no Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html) no *Guia de gerenciamento do Amazon EMR* e no [Guia de programação do Spark](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations).
+ [Hudi] Melhorias para simplificar a configuração do Hudi. Desabilitado o controle de simultaneidade otimista por padrão.
**Alterações, melhorias e problemas resolvidos**
+ Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.
+ Anteriormente, a reinicialização manual do gerenciador de recursos em um cluster multimestre fazia com que os daemons do Amazon EMR no cluster, como o Zookeeper, recarregassem todos os nós anteriormente desativados ou perdidos no arquivo znode do Zookeeper. Isso fez com que os limites padrão fossem excedidos em determinadas situações. O Amazon EMR agora remove os registros de nós desativados ou perdidos há mais de uma hora do arquivo do Zookeeper e os limites internos foram aumentados.
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN
+ Zeppelin atualizado para a versão 0.10.0.
+ Livy Fix: atualizado para 0.7.1
+ Melhoria da performance do Spark: executores heterogêneos são desabilitados quando determinados valores de configuração do Spark são substituídos no EMR 5.34.0.
+ WebHDFS e o servidor HttpFS estão desabilitados por padrão. Você pode reabilitar o WebHDFS usando a configuração do Hadoop, `dfs.webhdfs.enabled`. O servidor HttpFS pode ser iniciado usando `sudo systemctl start hadoop-httpfs`.
**Problemas conhecidos**
+ O atributo Cadernos do Amazon EMR usado com a personificação de usuários do Livy não funciona porque o HttpFS está desabilitado por padrão. Nesse caso, o caderno do EMR não pode se conectar ao cluster que tem a personificação do Livy habilitada. A solução alternativa é iniciar o servidor HttpFS antes de conectar o caderno do EMR ao cluster usando `sudo systemctl start hadoop-httpfs`.
+ As consultas no Hue não funcionam no Amazon EMR 6.4.0 porque o servidor HttpFS do Apache Hadoop está desabilitado por padrão. Para usar o Hue no Amazon EMR 6.4.0, inicie manualmente o servidor HttpFS no nó primário do Amazon EMR usando `sudo systemctl start hadoop-httpfs`, ou [use uma etapa do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/add-step-cli.html).
+ O atributo Cadernos do Amazon EMR usado com a personificação de usuários do Livy não funciona porque o HttpFS está desabilitado por padrão. Nesse caso, o caderno do EMR não pode se conectar ao cluster que tem a personificação do Livy habilitada. A solução alternativa é iniciar o servidor HttpFS antes de conectar o caderno do EMR ao cluster usando `sudo systemctl start hadoop-httpfs`.
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
+ Duas ou mais partições são verificadas na mesma tabela.
+ Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
+ O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).
Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
## Versões de componente 5.34.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.14.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-notebook-env | 1.4.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway |
| emr-s3-dist-cp | 2.18.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.7.0 | EMR S3Select Connector |
| emrfs | 2.48.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.13.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| flink-jobmanager-config | 1.13.1 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.10.1-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.10.1-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.10.1-amzn-2 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.10.1-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.10.1-amzn-2 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.10.1-amzn-2 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.10.1-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.10.1-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.10.1-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.10.1-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.8-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.8-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.8-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.8-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.8-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.8-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.8-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.9.0-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-spark | 0.9.0-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. |
| hudi-presto | 0.9.0-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.9.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.13.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.8.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.68 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 10.1.243 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.261-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.261-amzn-0 | O serviço que executa partes de uma consulta. |
| presto-client | 0.261-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 4.0.2 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.8-amzn-0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.8-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.8-amzn-0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.8-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.10.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.34.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).
**Classificações do emr-5.34.0**
| Classificações | Description | Ações de reconfiguração |
| --- | --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. |
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. |
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. |
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn | Not available. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | Should not be reconfigured. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. |
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. |
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. |
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. |
| pig-env | Alterar os valores no ambiente do Pig. | Not available. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server. |
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer | Restarts EMR record server. |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. | Restarts EMR record server. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. | Restarts EMR record server. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restarts Oozie. |
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. |
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. |
# Versão 5.33.1 do Amazon EMR
## Versões 5.33.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.33.1 | emr-5.33.0 | emr-5.32.1 | emr-5.32.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.970 | 1.11.970 | 1.11.890 | 1.11.890 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.12.1 | 1.12.1 | 1.11.2 | 1.11.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 |
| Hadoop | 2.10.1-amzn-1.1 | 2.10.1-amzn-1 | 2.10.1-amzn-0.1 | 2.10.1-amzn-0 |
| Hive | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 |
| Hudi | 0.7.0-amzn-1 | 0.7.0-amzn-1 | 0.6.0-amzn-0 | 0.6.0-amzn-0 |
| Hue | 4.9.0 | 4.9.0 | 4.8.0 | 4.8.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| JupyterHub | 1.2.2 | 1.2.2 | 1.1.0 | 1.1.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.7.0 | 1.7.0 | 1.7.0 | 1.7.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.240.1-amzn-0 | 0.240.1-amzn-0 |
| Spark | 2.4.7-amzn-1.1 | 2.4.7-amzn-1 | 2.4.7-amzn-0.1 | 2.4.7-amzn-0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.3.1 | 2.3.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.9.0 | 0.9.0 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.33.1
As notas de lançamento a seguir incluem informações para a versão 5.33.0/5.33.1 do Amazon EMR. As alterações são referentes à versão 5.32.0.
Data da versão inicial: 19 de abril de 2021
Data da última atualização: 9 de agosto de 2021
**Atualizações**
+ Atualizado o conector do Amazon Glue para a versão 1.15.0
+ Atualizado para AWS SDK para Java a versão 1.11.970
+ Atualizado o EMRFS para a versão 2.46.0
+ Atualizado o EMR Goodies para a versão 2.14.0
+ Atualizado o servidor de registros do EMR para a versão 1.9.0
+ Atualizado o EMR S3 Dist CP para a versão 2.18.0
+ Atualizado o agente secreto do EMR para a versão 1.8.0
+ Atualizado o Flink para a versão 1.12.1
+ Atualizado o Hadoop para a versão 2.10.1-amzn-1
+ Atualizado o Hive para a versão 2.3.7-amzn-4
+ Atualizado o Hudi para a versão 0.7.0
+ Atualizado o Hue para a versão 4.9.0
+ Atualizado o OpenCV para a versão 4.5.0
+ Atualizado o Presto para a versão 0.245.1-amzn-0
+ Atualizado o R para a versão 4.0.2
+ Atualizado o Spark para a versão 2.4.7-amnz-1
+ Atualizado TensorFlow para a versão 2.4.1
+ Atualizado o Zeppelin para a versão 0.9.0
**Alterações, melhorias e problemas resolvidos**
+ Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ **Configurar um cluster para corrigir problemas de desempenho do servidor de linha do tempo do Apache YARN versões 1 e 1.5**
As versões 1 e 1.5 do servidor de linha do tempo do Apache YARN podem causar problemas de performance com clusters do EMR muito ativos e grandes, especialmente com `yarn.resourcemanager.system-metrics-publisher.enabled=true`, que é a configuração padrão no Amazon EMR. Um servidor de linha do tempo do YARN v2 de código aberto resolve o problema de performance relacionado à escalabilidade do servidor de linha do tempo do YARN.
Outras soluções alternativas para esse problema incluem:
+ Configurando yarn.resourcemanager. system-metrics-publisher.enabled=false em yarn-site.xml.
+ Habilitar a correção para esse problema na criação de um cluster, conforme descrito abaixo.
As seguintes versões do Amazon EMR contêm uma correção para esse problema de performance do servidor de linha do tempo do YARN.
EMR 5.30.2, 5.31.1, 5.32.1, 5.33.1, 5.34.x, 6.0.1, 6.1.1, 6.2.1, 6.3.1, 6.4.x
Para habilitar a correção em qualquer uma das versões do Amazon EMR especificadas acima, defina essas propriedades como `true` em um arquivo JSON de configurações que é passado usando o [parâmetro de comando `aws emr create-cluster`](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-create-cluster.html): `--configurations file://./configurations.json`. Ou habilite a correção usando a [interface do usuário do console de reconfiguração](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html).
Exemplo de conteúdo do arquivo configurations.json:
```
[
{
"Classification": "yarn-site",
"Properties": {
"yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
"yarn.resourcemanager.system-metrics-publisher.enabled": "true"
},
"Configurations": []
}
]
```
+ O runtime do Spark agora é mais rápido na busca de localizações de partições do Hive Metastore para consultas de inserção do Spark.
+ Atualizadas versões do componente. Para obter uma lista das versões do componente, consulte [Sobre versões do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-components.html) neste guia.
+ Instalou o AWS Java SDK Bundle em cada novo cluster. Esse é um único jar contendo todos os serviços SDKs e suas dependências, em vez de jars de componentes individuais. Para obter mais informações, consulte [Dependência no pacote Java SDK](https://aws.amazon.com/blogs/developer/java-sdk-bundle/).
+ Corrigidos os problemas de ajuste de escala gerenciado em versões anteriores do Amazon EMR e feitas melhorias para que os índices de falha de aplicações fossem significativamente reduzidos.
+ O HTTPS agora está habilitado por padrão para repositórios do Amazon Linux. Se você estiver usando uma política de VPCE do Amazon S3 para restringir o acesso a buckets específicos, deverá adicionar o novo ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` do bucket do Amazon Linux à sua política (substitua `$region` pela região em que o endpoint está situado). Para obter mais informações, consulte esse tópico nos fóruns de AWS discussão. [Anúncio: o Amazon Linux 2 agora oferece suporte à capacidade de usar HTTPS ao se conectar a repositórios de pacotes ](https://forums.aws.amazon.com/ann.jspa?annID=8528).
**Novos recursos**
+ O Amazon EMR é compatível com Pontos de Acesso Amazon S3, atributo do amazon S3 que permite que você gerencie facilmente o acesso a data lakes compartilhados. Usando o alias do Ponto de Acesso Amazon S3, você pode simplificar o acesso aos dados em grande escala no Amazon EMR. Você pode usar os pontos de acesso do Amazon S3 com todas as versões do Amazon EMR sem custo adicional em todas as regiões onde o AWS Amazon EMR está disponível. Para saber mais sobre Pontos de Acesso Amazon S3 e aliases de ponto de acesso, consulte [Usar um alias em estilo de bucket para seu ponto de acesso](https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-points-alias.html) no *Guia do usuário do Amazon S3*.
+ O Amazon EMR-5.33 é compatível com novos tipos de instância do Amazon EC2: c5a, c5ad, c6gn, c6gd, m6gd, d3, d3en, m5zn, r5b, r6gd. Consulte [Tipos de instância compatíveis](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-supported-instance-types.html).
**Problemas conhecidos**
+ **Limite inferior de “Máximo de arquivos abertos” em versões mais antigas AL2 [corrigido em versões mais recentes].** Versões do Amazon EMR: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0 e emr-6.2.0 são baseadas em versões mais antigas do Amazon Linux 2 (), que AL2 têm uma configuração de limite inferior para “Máximo de arquivos abertos” quando clusters do Amazon EMR são criados com a AMI padrão. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”. Versões com o limite inferior de arquivos abertos causam o erro “Muitos arquivos abertos” ao ser enviado um trabalho do Spark. Nas versões afetadas, a AMI padrão do Amazon EMR tem uma configuração de ulimit padrão de 4096 para “Máximo de arquivos abertos”, que é inferior ao limite de 65536 arquivos na AMI mais recente do Amazon Linux 2. A configuração inferior de ulimit para “Máximo de arquivos abertos” causa falhas em trabalhos do Spark quando o driver e o executor do Spark tentam abrir mais de 4096 arquivos. Para corrigir o problema, o Amazon EMR tem um script de ação de bootstrap (BA) que ajusta a configuração de ulimit na criação do cluster.
Se você está usando uma versão mais antiga do Amazon EMR que não tem a correção permanente para esse problema, a solução alternativa a seguir permite que você defina explicitamente o ulimit instance-controller para um máximo de 65536 arquivos.
**Defina explicitamente um ulimit na linha de comando**
1. Edite `/etc/systemd/system/instance-controller.service` para adicionar os seguintes parâmetros à seção Serviço.
`LimitNOFILE=65536`
`LimitNPROC=65536`
1. Reiniciar InstanceController
`$ sudo systemctl daemon-reload`
`$ sudo systemctl restart instance-controller`
**Defina um ulimit usando a ação de bootstrap (BA)**
Você também pode usar um script de ação de bootstrap (BA) para configurar o ulimit instance-controller para 65536 arquivos na criação do cluster.
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
+ Para clusters de sub-rede privados do Amazon EMR 6.3.0 e 6.2.0, você não pode acessar a interface do usuário da Web do Ganglia. Você receberá um erro de “acesso negado (403)”. Outros sites UIs, como Spark, Hue, Zeppelin JupyterHub, Livy e Tez, estão funcionando normalmente. O acesso à interface do usuário da Web do Ganglia em clusters de sub-redes públicas também está funcionando normalmente. Para resolver esse problema, reinicie o serviço httpd no nó primário com `sudo systemctl restart httpd`. Esse problema foi corrigido na versão 6.4.0 do Amazon EMR.
+
**Importante**
Os clusters do EMR que executam imagens de máquina da Amazon (AMIs) do Amazon Linux ou do Amazon Linux 2 usam o comportamento padrão do Amazon Linux e não baixam nem instalam automaticamente atualizações importantes e críticas do kernel que exigem reinicialização. É o mesmo comportamento de outras instâncias do Amazon EC2 que executam a AMI padrão do Amazon Linux. Se novas atualizações de software do Amazon Linux que exigem reinicialização (como atualizações do kernel, NVIDIA e CUDA) forem disponibilizadas após o lançamento de uma versão do Amazon EMR, as instâncias de cluster do Amazon EMR que executam a AMI padrão não baixarão nem instalarão essas atualizações automaticamente. Para obter atualizações do kernel, você pode [personalizar sua AMI do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html) para [usar a AMI do Amazon Linux mais recente](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/finding-an-ami.html).
+ O suporte do console para criar uma configuração de segurança que especifica a opção de integração do AWS Ranger atualmente não é suportado na GovCloud região. A configuração de segurança do pode ser feita usando a CLI. Consulte [Criar a configuração de segurança do EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger-security-config.html) no *Guia de gerenciamento do Amazon EMR.*
+ Políticas gerenciadas com escopo definido: para se alinhar às AWS melhores práticas, o Amazon EMR introduziu políticas gerenciadas padrão com escopo do EMR v2 como substitutas das políticas que serão descontinuadas. Consulte as [políticas gerenciadas do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-iam-policies.html).
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
+ Duas ou mais partições são verificadas na mesma tabela.
+ Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
+ O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).
Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
## Versões de componente 5.33.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.14.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-notebook-env | 1.2.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway |
| emr-s3-dist-cp | 2.18.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.6.0 | EMR S3Select Connector |
| emrfs | 2.46.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.12.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| flink-jobmanager-config | 1.12.1 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.10.1-amzn-1.1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.10.1-amzn-1.1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.10.1-amzn-1.1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.10.1-amzn-1.1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.10.1-amzn-1.1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.10.1-amzn-1.1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.10.1-amzn-1.1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.10.1-amzn-1.1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.10.1-amzn-1.1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-1.1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.10.1-amzn-1.1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.7-amzn-4 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.7-amzn-4 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.7-amzn-4 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.7-amzn-4 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.7-amzn-4 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.7-amzn-4 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.7-amzn-4 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.7.0-amzn-1 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-spark | 0.7.0-amzn-1 | Biblioteca de pacotes para executar o Spark com o Hudi. |
| hudi-presto | 0.7.0-amzn-1 | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.9.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.2.2 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.7.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.68\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 10.1.243 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.245.1-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.245.1-amzn-0 | O serviço que executa partes de uma consulta. |
| presto-client | 0.245.1-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 4.0.2 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.7-amzn-1.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.7-amzn-1.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.7-amzn-1.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.7-amzn-1.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.9.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.33.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).
**Classificações do emr-5.33.1**
| Classificações | Description | Ações de reconfiguração |
| --- | --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. |
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. |
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. |
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn | Not available. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | Should not be reconfigured. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. |
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. |
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. |
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. |
| pig-env | Alterar os valores no ambiente do Pig. | Not available. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server. |
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer | Restarts EMR record server. |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. | Restarts EMR record server. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. | Restarts EMR record server. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restarts Oozie. |
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. |
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. |
# Versão 5.33.0 do Amazon EMR
## Versões 5.33.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.33.0 | emr-5.32.1 | emr-5.32.0 | emr-5.31.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.970 | 1.11.890 | 1.11.890 | 1.11.852 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.12.1 | 1.11.2 | 1.11.2 | 1.11.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 |
| Hadoop | 2.10.1-amzn-1 | 2.10.1-amzn-0.1 | 2.10.1-amzn-0 | 2.10.0-amzn-0.1 |
| Hive | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 |
| Hudi | 0.7.0-amzn-1 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 |
| Hue | 4.9.0 | 4.8.0 | 4.8.0 | 4.7.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | - |
| JupyterHub | 1.2.2 | 1.1.0 | 1.1.0 | 1.1.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.245.1-amzn-0 | 0.240.1-amzn-0 | 0.240.1-amzn-0 | 0.238.3-amzn-0 |
| Spark | 2.4.7-amzn-1 | 2.4.7-amzn-0.1 | 2.4.7-amzn-0 | 2.4.6-amzn-0.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.3.1 | 2.3.1 | 2.1.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.9.0 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.33.0
## Versões de componente 5.33.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.14.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-notebook-env | 1.2.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway |
| emr-s3-dist-cp | 2.18.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.6.0 | EMR S3Select Connector |
| emrfs | 2.46.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.12.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| flink-jobmanager-config | 1.12.1 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.10.1-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.10.1-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.10.1-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.10.1-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.10.1-amzn-1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.10.1-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.10.1-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.10.1-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.10.1-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.10.1-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.7-amzn-4 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.7-amzn-4 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.7-amzn-4 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.7-amzn-4 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.7-amzn-4 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.7-amzn-4 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.7-amzn-4 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.7.0-amzn-1 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-spark | 0.7.0-amzn-1 | Biblioteca de pacotes para executar o Spark com o Hudi. |
| hudi-presto | 0.7.0-amzn-1 | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.9.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.2.2 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.7.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.68 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 10.1.243 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.245.1-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.245.1-amzn-0 | O serviço que executa partes de uma consulta. |
| presto-client | 0.245.1-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 4.0.2 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.7-amzn-1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.7-amzn-1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.7-amzn-1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.7-amzn-1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.9.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.33.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).
**Classificações do emr-5.33.0**
| Classificações | Description | Ações de reconfiguração |
| --- | --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. |
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. |
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. |
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn | Not available. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | Should not be reconfigured. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. |
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. |
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. |
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. |
| pig-env | Alterar os valores no ambiente do Pig. | Not available. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server. |
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer | Restarts EMR record server. |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. | Restarts EMR record server. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. | Restarts EMR record server. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restarts Oozie. |
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. |
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. |
# Versão 5.32.1 do Amazon EMR
## Versões 5.32.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.32.1 | emr-5.32.0 | emr-5.31.1 | emr-5.31.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.890 | 1.11.890 | 1.11.852 | 1.11.852 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.11.2 | 1.11.2 | 1.11.0 | 1.11.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 |
| Hadoop | 2.10.1-amzn-0.1 | 2.10.1-amzn-0 | 2.10.0-amzn-0.1 | 2.10.0-amzn-0 |
| Hive | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 |
| Hudi | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 |
| Hue | 4.8.0 | 4.8.0 | 4.7.1 | 4.7.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | - | - |
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.7.0 | 1.7.0 | 1.6.0 | 1.6.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.240.1-amzn-0 | 0.240.1-amzn-0 | 0.238.3-amzn-0 | 0.238.3-amzn-0 |
| Spark | 2.4.7-amzn-0.1 | 2.4.7-amzn-0 | 2.4.6-amzn-0.1 | 2.4.6-amzn-0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.3.1 | 2.3.1 | 2.1.0 | 2.1.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.32.1
Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.
**Alterações, melhorias e problemas resolvidos**
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ O HTTPS agora está habilitado por padrão para repositórios do Amazon Linux. Se você estiver usando uma política de VPCE do Amazon S3 para restringir o acesso a buckets específicos, deverá adicionar o novo ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` do bucket do Amazon Linux à sua política (substitua `$region` pela região em que o endpoint está situado). Para obter mais informações, consulte esse tópico nos fóruns de AWS discussão. [Anúncio: o Amazon Linux 2 agora oferece suporte à capacidade de usar HTTPS ao se conectar a repositórios de pacotes ](https://forums.aws.amazon.com/ann.jspa?annID=8528).
**Problemas conhecidos**
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
+ Duas ou mais partições são verificadas na mesma tabela.
+ Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
+ O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).
Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
## Versões de componente 5.32.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.13.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-notebook-env | 1.1.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway |
| emr-s3-dist-cp | 2.17.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.6.0 | EMR S3Select Connector |
| emrfs | 2.45.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.11.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| flink-jobmanager-config | 1.11.2 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.10.1-amzn-0.1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.10.1-amzn-0.1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.10.1-amzn-0.1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.10.1-amzn-0.1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.10.1-amzn-0.1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.10.1-amzn-0.1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.10.1-amzn-0.1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.10.1-amzn-0.1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.10.1-amzn-0.1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-0.1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.10.1-amzn-0.1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.7-amzn-3 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.7-amzn-3 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.7-amzn-3 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.7-amzn-3 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.7-amzn-3 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.7-amzn-3 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.7-amzn-3 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.6.0-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-spark | 0.6.0-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. |
| hudi-presto | 0.6.0-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.8.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.1.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.7.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.68\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 10.1.243 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 4.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.240.1-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.240.1-amzn-0 | O serviço que executa partes de uma consulta. |
| presto-client | 0.240.1-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.3 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.7-amzn-0.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.7-amzn-0.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.7-amzn-0.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.7-amzn-0.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 2.3.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.2 | O notebook baseado na web que permite a análise de dados interativa. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.32.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).
**Classificações do emr-5.32.1**
| Classificações | Description | Ações de reconfiguração |
| --- | --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. |
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. |
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. | Not available. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | Should not be reconfigured. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. |
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. |
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. |
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. |
| pig-env | Alterar os valores no ambiente do Pig. | Not available. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server. |
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer | Restarts EMR record server. |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. | Restarts EMR record server. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. | Restarts EMR record server. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restarts Oozie. |
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. |
# Versão 5.32.0 do Amazon EMR
## Versões 5.32.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.32.0 | emr-5.31.1 | emr-5.31.0 | emr-5.30.2 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.890 | 1.11.852 | 1.11.852 | 1.11.759 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.11.2 | 1.11.0 | 1.11.0 | 1.10.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 |
| Hadoop | 2.10.1-amzn-0 | 2.10.0-amzn-0.1 | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 |
| Hive | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 |
| Hudi | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.5.2-incubating |
| Hue | 4.8.0 | 4.7.1 | 4.7.1 | 4.6.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | - | - | - |
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.7.0 | 1.6.0 | 1.6.0 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.240.1-amzn-0 | 0.238.3-amzn-0 | 0.238.3-amzn-0 | 0.232 |
| Spark | 2.4.7-amzn-0 | 2.4.6-amzn-0.1 | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.3.1 | 2.1.0 | 2.1.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.32.0
As notas da versão a seguir incluem informações para a versão 5.32.0 do Amazon EMR. As alterações são referentes à versão 5.31.0.
Data da versão inicial: 8 de janeiro de 2021
**Atualizações**
+ Atualizado o conector do Amazon Glue para a versão 1.14.0
+ SDK do Amazon SageMaker Spark atualizado para a versão 1.4.1
+ Atualizado para AWS SDK para Java a versão 1.11.890
+ Atualizado o conector do DynamoDB para EMR, versão 4.16.0
+ Atualizado o EMRFS para a versão 2.45.0
+ Atualizadas as métricas de analytics de log do EMR para a versão 1.18.0
+ Cliente MetricsAndEventsApiGateway EMR atualizado para a versão 1.5.0
+ Atualizado o servidor de registros do EMR para a versão 1.8.0
+ Atualizado o EMR S3 Dist CP para a versão 2.17.0
+ Atualizado o agente secreto do EMR para a versão 1.7.0
+ Atualizado o Flink para a versão 1.11.2
+ Atualizado o Hadoop para a versão 2.10.1-amzn-0
+ Atualizado o Hive para a versão 2.3.7-amzn-3
+ Atualizado o Hue para a versão 4.8.0
+ Atualizado o Mxnet para a versão 1.7.0
+ Atualizado o OpenCV para a versão 4.4.0
+ Atualizado o Presto para a versão 0.240.1-amzn-0
+ Atualizado o Spark para a versão 2.4.7-amnz-0
+ Atualizado TensorFlow para a versão 2.3.1
**Alterações, melhorias e problemas resolvidos**
+ Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ Atualizadas versões do componente.
+ Para obter uma lista das versões do componente, consulte [Sobre versões do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-components.html) neste guia.
**Novos recursos**
+ Desde as versões 5.32.0 e 6.5.0 do Amazon EMR, o dimensionamento do executor dinâmico para o Apache Spark está habilitado por padrão. Para ativar ou desativar esse atributo, você pode usar o parâmetro de configuração `spark.yarn.heterogeneousExecutors.enabled`.
+ Status de suporte do Instance Metadata Service (IMDS) V2: os componentes do Amazon EMR 5.23.1, 5.27.1 e 5.32 ou posteriores são usados para todas as chamadas do IMDS. IMDSv2 Para chamadas IMDS no código do aplicativo, você pode usar ambos IMDSv1 e IMDSv2, ou configurar o IMDS para uso somente IMDSv2 para aumentar a segurança. Para outras versões 5.x do EMR, a IMDSv1 desativação causa falha na inicialização do cluster.
+ Desde a versão 5.32.0 do Amazon EMR, você pode iniciar um cluster que se integre nativamente ao Apache Ranger. O Apache Ranger é uma estrutura de código aberto para habilitar, monitorar e gerenciar uma segurança de dados abrangente em toda a plataforma Hadoop. Para obter mais informações, consulte [Apache Ranger](https://ranger.apache.org/). Com a integração nativa, você pode trazer seu próprio Apache Ranger para aplicar um controle de acesso detalhado aos dados no Amazon EMR. Consulte [Integrar o Amazon EMR com o Apache Ranger](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger.html) no *Guia de lançamento do Amazon EMR*.
+ A versão 5.32.0 do Amazon EMR é compatível com o Amazon EMR no EKS. Para obter mais detalhes sobre os conceitos básicos do EMR no EKS, consulte [O que é o Amazon EMR no EKS](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/emr-eks.html).
+ A versão 5.32.0 do Amazon EMR é compatível com o Amazon EMR Studio (versão de demonstração). Para obter mais detalhes sobre os conceitos básicos do EMR Studio, consulte [Amazon EMR Studio (versão de demonstração)](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio.html).
+ Políticas gerenciadas com escopo definido: para se alinhar às AWS melhores práticas, o Amazon EMR introduziu políticas gerenciadas padrão com escopo do EMR v2 como substitutas das políticas que serão descontinuadas. Consulte as [políticas gerenciadas do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-iam-policies.html).
**Problemas conhecidos**
+ Para clusters de sub-rede privados do Amazon EMR 6.3.0 e 6.2.0, você não pode acessar a interface do usuário da Web do Ganglia. Você receberá um erro de “acesso negado (403)”. Outros sites UIs, como Spark, Hue, Zeppelin JupyterHub, Livy e Tez, estão funcionando normalmente. O acesso à interface do usuário da Web do Ganglia em clusters de sub-redes públicas também está funcionando normalmente. Para resolver esse problema, reinicie o serviço httpd no nó primário com `sudo systemctl restart httpd`. Esse problema foi corrigido na versão 6.4.0 do Amazon EMR.
+ **Limite inferior de “Máximo de arquivos abertos” em versões mais antigas AL2 [corrigido em versões mais recentes].** Versões do Amazon EMR: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0 e emr-6.2.0 são baseadas em versões mais antigas do Amazon Linux 2 (), que AL2 têm uma configuração de limite inferior para “Máximo de arquivos abertos” quando clusters do Amazon EMR são criados com a AMI padrão. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”. Versões com o limite inferior de arquivos abertos causam o erro “Muitos arquivos abertos” ao ser enviado um trabalho do Spark. Nas versões afetadas, a AMI padrão do Amazon EMR tem uma configuração de ulimit padrão de 4096 para “Máximo de arquivos abertos”, que é inferior ao limite de 65536 arquivos na AMI mais recente do Amazon Linux 2. A configuração inferior de ulimit para “Máximo de arquivos abertos” causa falhas em trabalhos do Spark quando o driver e o executor do Spark tentam abrir mais de 4096 arquivos. Para corrigir o problema, o Amazon EMR tem um script de ação de bootstrap (BA) que ajusta a configuração de ulimit na criação do cluster.
Se você está usando uma versão mais antiga do Amazon EMR que não tem a correção permanente para esse problema, a solução alternativa a seguir permite que você defina explicitamente o ulimit instance-controller para um máximo de 65536 arquivos.
**Defina explicitamente um ulimit na linha de comando**
1. Edite `/etc/systemd/system/instance-controller.service` para adicionar os seguintes parâmetros à seção Serviço.
`LimitNOFILE=65536`
`LimitNPROC=65536`
1. Reiniciar InstanceController
`$ sudo systemctl daemon-reload`
`$ sudo systemctl restart instance-controller`
**Defina um ulimit usando a ação de bootstrap (BA)**
Você também pode usar um script de ação de bootstrap (BA) para configurar o ulimit instance-controller para 65536 arquivos na criação do cluster.
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
+
**Importante**
Os clusters do EMR que executam imagens de máquina da Amazon (AMIs) do Amazon Linux ou do Amazon Linux 2 usam o comportamento padrão do Amazon Linux e não baixam nem instalam automaticamente atualizações importantes e críticas do kernel que exigem reinicialização. É o mesmo comportamento de outras instâncias do Amazon EC2 que executam a AMI padrão do Amazon Linux. Se novas atualizações de software do Amazon Linux que exigem reinicialização (como atualizações do kernel, NVIDIA e CUDA) forem disponibilizadas após o lançamento de uma versão do Amazon EMR, as instâncias de cluster do Amazon EMR que executam a AMI padrão não baixarão nem instalarão essas atualizações automaticamente. Para obter atualizações do kernel, você pode [personalizar sua AMI do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html) para [usar a AMI do Amazon Linux mais recente](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/finding-an-ami.html).
+ O suporte do console para criar uma configuração de segurança que especifica a opção de integração do AWS Ranger atualmente não é suportado na GovCloud região. A configuração de segurança do pode ser feita usando a CLI. Consulte [Criar a configuração de segurança do EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger-security-config.html) no *Guia de gerenciamento do Amazon EMR.*
+ Quando AtRestEncryption a criptografia HDFS é habilitada em um cluster que usa o Amazon EMR 5.31.0 ou 5.32.0, as consultas do Hive resultam na seguinte exceção de tempo de execução.
```
TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found
```
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
+ Duas ou mais partições são verificadas na mesma tabela.
+ Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
+ O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).
Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
## Versões de componente 5.32.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.13.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-notebook-env | 1.1.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway |
| emr-s3-dist-cp | 2.17.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.6.0 | EMR S3Select Connector |
| emrfs | 2.45.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.11.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| flink-jobmanager-config | 1.11.2 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.10.1-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.10.1-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.10.1-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.10.1-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.10.1-amzn-0 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.10.1-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.10.1-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.10.1-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.10.1-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.10.1-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.7-amzn-3 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.7-amzn-3 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.7-amzn-3 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.7-amzn-3 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.7-amzn-3 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.7-amzn-3 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.7-amzn-3 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.6.0-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-spark | 0.6.0-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. |
| hudi-presto | 0.6.0-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.8.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.1.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.7.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.68 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 10.1.243 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 4.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.240.1-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.240.1-amzn-0 | O serviço que executa partes de uma consulta. |
| presto-client | 0.240.1-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.3 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.7-amzn-0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.7-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.7-amzn-0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.7-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 2.3.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.2 | O notebook baseado na web que permite a análise de dados interativa. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.32.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).
**Classificações do emr-5.32.0**
| Classificações | Description | Ações de reconfiguração |
| --- | --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. |
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. |
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. | Not available. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | Should not be reconfigured. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. |
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. |
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. |
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. |
| pig-env | Alterar os valores no ambiente do Pig. | Not available. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server. |
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer | Restarts EMR record server. |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. | Restarts EMR record server. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. | Restarts EMR record server. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restarts Oozie. |
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. |
# Versão 5.31.1 do Amazon EMR
## Versões 5.31.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.31.1 | emr-5.31.0 | emr-5.30.2 | emr-5.30.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.852 | 1.11.852 | 1.11.759 | 1.11.759 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.11.0 | 1.11.0 | 1.10.0 | 1.10.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 |
| Hadoop | 2.10.0-amzn-0.1 | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 |
| Hive | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 |
| Hudi | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.5.2-incubating | 0.5.2-incubating |
| Hue | 4.7.1 | 4.7.1 | 4.6.0 | 4.6.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.238.3-amzn-0 | 0.238.3-amzn-0 | 0.232 | 0.232 |
| Spark | 2.4.6-amzn-0.1 | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.31.1
Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.
**Alterações, melhorias e problemas resolvidos**
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ O HTTPS agora está habilitado por padrão para repositórios do Amazon Linux. Se você estiver usando uma política de VPCE do Amazon S3 para restringir o acesso a buckets específicos, deverá adicionar o novo ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` do bucket do Amazon Linux à sua política (substitua `$region` pela região em que o endpoint está situado). Para obter mais informações, consulte esse tópico nos fóruns de AWS discussão. [Anúncio: o Amazon Linux 2 agora oferece suporte à capacidade de usar HTTPS ao se conectar a repositórios de pacotes ](https://forums.aws.amazon.com/ann.jspa?annID=8528).
**Problemas conhecidos**
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
+ Duas ou mais partições são verificadas na mesma tabela.
+ Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
+ O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).
Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
## Versões de componente 5.31.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.15.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.13.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.15.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.6.0 | EMR S3Select Connector |
| emrfs | 2.43.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.11.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| flink-jobmanager-config | 1.11.0 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.10.0-amzn-0.1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.10.0-amzn-0.1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.10.0-amzn-0.1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.10.0-amzn-0.1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.10.0-amzn-0.1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.10.0-amzn-0.1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.10.0-amzn-0.1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.10.0-amzn-0.1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.10.0-amzn-0.1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.10.0-amzn-0.1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.10.0-amzn-0.1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.7-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.7-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.7-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.7-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.7-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.7-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.7-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.6.0-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-spark | 0.6.0-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. |
| hudi-presto | 0.6.0-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.7.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.1.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.6.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.64\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 4.3.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.238.3-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.238.3-amzn-0 | O serviço que executa partes de uma consulta. |
| presto-client | 0.238.3-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.3 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.6-amzn-0.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.6-amzn-0.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.6-amzn-0.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.6-amzn-0.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 2.1.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.2 | O notebook baseado na web que permite a análise de dados interativa. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.31.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.31.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| hudi-env | Altere os valores no ambiente do Hudi. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.31.0 do Amazon EMR
## Versões 5.31.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.31.0 | emr-5.30.2 | emr-5.30.1 | emr-5.30.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.852 | 1.11.759 | 1.11.759 | 1.11.759 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.11.0 | 1.10.0 | 1.10.0 | 1.10.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 |
| Hadoop | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 | 2.8.5-amzn-6 |
| Hive | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 |
| Hudi | 0.6.0-amzn-0 | 0.5.2-incubating | 0.5.2-incubating | 0.5.2-incubating |
| Hue | 4.7.1 | 4.6.0 | 4.6.0 | 4.6.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.6.0 | 1.5.1 | 1.5.1 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.238.3-amzn-0 | 0.232 | 0.232 | 0.232 |
| Spark | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 | 2.4.5-amzn-0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.1.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.31.0
As notas da versão a seguir incluem informações para a versão 5.31.0 do Amazon EMR. As alterações são referentes à versão 5.30.1.
Data da versão inicial: 9 de outubro de 2020
Data da última atualização: 15 de outubro de 2020
**Atualizações**
+ Atualizado o conector do Amazon Glue para a versão 1.13.0
+ SDK do Amazon SageMaker Spark atualizado para a versão 1.4.0
+ Atualizado o conector do Amazon Kinesis para a versão 3.5.9
+ Atualizado para AWS SDK para Java a versão 1.11.852
+ Atualizado o Bigtop-tomcat para a versão 8.5.56
+ Atualizado o EMRFS para a versão 2.43.0
+ Cliente MetricsAndEventsApiGateway EMR atualizado para a versão 1.4.0
+ Atualizado o EMR S3 Dist CP para a versão 2.15.0
+ Atualizado o EMR S3 Select para a versão 1.6.0
+ Atualizado o Flink para a versão 1.11.0
+ Atualizado o Hadoop para a versão 2.10.0
+ Atualizado o Hive para a versão 2.3.7
+ Atualizado o Hudi para a versão 0.6.0
+ Atualizado o Hue para a versão 4.7.1
+ Atualizado JupyterHub para a versão 1.1.0
+ Atualizado o Mxnet para a versão 1.6.0
+ Atualizado o OpenCV para a versão 4.3.0
+ Atualizado o Presto para a versão 0.238.3
+ Atualizado TensorFlow para a versão 2.1.0
**Alterações, melhorias e problemas resolvidos**
+ Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ [As estatísticas de colunas do Hive](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-ColumnStatistics) são compatíveis com as versões 5.31.0 e posteriores do Amazon EMR.
+ Atualizadas versões do componente.
+ Suporte ao EMRFS S3EC V2 no Amazon EMR 5.31.0. Nas versões 1.11.837 e posteriores do SDK para Java no S3, a versão 2 do cliente de criptografia (S3EC V2) foi introduzida com vários aprimoramentos de segurança. Para saber mais, consulte:
+ Publicações no blog do S3: [Atualizações no cliente de criptografia do Amazon S3](https://aws.amazon.com/blogs/developer/updates-to-the-amazon-s3-encryption-client/).
+ AWS SDK para Java Guia do desenvolvedor: [Migre clientes de criptografia e descriptografia](https://docs.aws.amazon.com/sdk-for-java/v1/developer-guide/s3-encryption-migration.html#s3-cse-update-code) para a V2.
+ Guia de gerenciamento do EMR: [Criptografia do lado do cliente do Amazon S3](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-emrfs-encryption-cse.html).
O Encryption Client V1 ainda está disponível no SDK para compatibilidade retroativa.
**Novos recursos**
+ **Limite inferior de “Máximo de arquivos abertos” em versões mais antigas AL2 [corrigido em versões mais recentes].** Versões do Amazon EMR: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0 e emr-6.2.0 são baseadas em versões mais antigas do Amazon Linux 2 (), que AL2 têm uma configuração de limite inferior para “Máximo de arquivos abertos” quando clusters do Amazon EMR são criados com a AMI padrão. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”. Versões com o limite inferior de arquivos abertos causam o erro “Muitos arquivos abertos” ao ser enviado um trabalho do Spark. Nas versões afetadas, a AMI padrão do Amazon EMR tem uma configuração de ulimit padrão de 4096 para “Máximo de arquivos abertos”, que é inferior ao limite de 65536 arquivos na AMI mais recente do Amazon Linux 2. A configuração inferior de ulimit para “Máximo de arquivos abertos” causa falhas em trabalhos do Spark quando o driver e o executor do Spark tentam abrir mais de 4096 arquivos. Para corrigir o problema, o Amazon EMR tem um script de ação de bootstrap (BA) que ajusta a configuração de ulimit na criação do cluster.
Se você está usando uma versão mais antiga do Amazon EMR que não tem a correção permanente para esse problema, a solução alternativa a seguir permite que você defina explicitamente o ulimit instance-controller para um máximo de 65536 arquivos.
**Defina explicitamente um ulimit na linha de comando**
1. Edite `/etc/systemd/system/instance-controller.service` para adicionar os seguintes parâmetros à seção Serviço.
`LimitNOFILE=65536`
`LimitNPROC=65536`
1. Reiniciar InstanceController
`$ sudo systemctl daemon-reload`
`$ sudo systemctl restart instance-controller`
**Defina um ulimit usando a ação de bootstrap (BA)**
Você também pode usar um script de ação de bootstrap (BA) para configurar o ulimit instance-controller para 65536 arquivos na criação do cluster.
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
+ Com a versão 5.31.0 do Amazon EMR, você pode iniciar um cluster que se integre ao Lake Formation. Essa integração fornece filtragem de dados refinada em nível de coluna para bancos de dados e tabelas no Glue Data Catalog. AWS Ela também permite logon único federado para Cadernos do EMR ou para o Apache Zeppelin em um sistema de identidade empresarial. Para obter mais informações, consulte [Integrating Amazon EMR with AWS Lake Formation](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lake-formation.html) no *Guia de gerenciamento do Amazon EMR*.
Atualmente, o Amazon EMR com Lake Formation está disponível em 16 AWS regiões: Leste dos EUA (Ohio e Norte da Virgínia), Oeste dos EUA (Norte da Califórnia e Oregon), Ásia-Pacífico (Mumbai, Seul, Cingapura, Sydney e Tóquio), Canadá (Central), Europa (Frankfurt, Irlanda, Londres, Paris e Estocolmo) e América do Sul (São Paulo).
**Problemas conhecidos**
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
+ Quando AtRestEncryption a criptografia HDFS é habilitada em um cluster que usa o Amazon EMR 5.31.0 ou 5.32.0, as consultas do Hive resultam na seguinte exceção de tempo de execução.
```
TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found
```
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
+ Duas ou mais partições são verificadas na mesma tabela.
+ Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
+ O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).
Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
## Versões de componente 5.31.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.15.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.13.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.15.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.6.0 | EMR S3Select Connector |
| emrfs | 2.43.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.11.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| flink-jobmanager-config | 1.11.0 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.10.0-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.10.0-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.10.0-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.10.0-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.10.0-amzn-0 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.10.0-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.10.0-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.10.0-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.10.0-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.10.0-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.10.0-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.7-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.7-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.7-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.7-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.7-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.7-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.7-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.6.0-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-spark | 0.6.0-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. |
| hudi-presto | 0.6.0-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.7.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.1.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.6.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.64 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 4.3.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.238.3-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.238.3-amzn-0 | O serviço que executa partes de uma consulta. |
| presto-client | 0.238.3-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.3 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.6-amzn-0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.6-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.6-amzn-0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.6-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 2.1.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.2 | O notebook baseado na web que permite a análise de dados interativa. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.31.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.31.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| hudi-env | Altere os valores no ambiente do Hudi. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.30.2 do Amazon EMR
## Versões 5.30.2 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.30.2 | emr-5.30.1 | emr-5.30.0 | emr-5.29.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.759 | 1.11.759 | 1.11.759 | 1.11.682 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.10.0 | 1.10.0 | 1.10.0 | 1.9.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.10 |
| HCatalog | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 |
| Hadoop | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 | 2.8.5-amzn-6 | 2.8.5-amzn-5 |
| Hive | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 |
| Hudi | 0.5.2-incubating | 0.5.2-incubating | 0.5.2-incubating | 0.5.0-incubating |
| Hue | 4.6.0 | 4.6.0 | 4.6.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.1.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.232 | 0.232 | 0.232 | 0.227 |
| Spark | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 | 2.4.5-amzn-0 | 2.4.4 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.30.2
Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.
**Alterações, melhorias e problemas resolvidos**
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ O HTTPS agora está habilitado por padrão para repositórios do Amazon Linux. Se você estiver usando uma política de VPCE do Amazon S3 para restringir o acesso a buckets específicos, deverá adicionar o novo ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` do bucket do Amazon Linux à sua política (substitua `$region` pela região em que o endpoint está situado). Para obter mais informações, consulte esse tópico nos fóruns de AWS discussão. [Anúncio: o Amazon Linux 2 agora oferece suporte à capacidade de usar HTTPS ao se conectar a repositórios de pacotes ](https://forums.aws.amazon.com/ann.jspa?annID=8528).
**Problemas conhecidos**
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
+ Duas ou mais partições são verificadas na mesma tabela.
+ Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
+ O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).
Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
## Versões de componente 5.30.2
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.3.0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.14.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.13.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.14.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.5.0 | EMR S3Select Connector |
| emrfs | 2.40.0 | O conector do Amazon S3 para aplicativos do ecossistema do Hadoop. |
| flink-client | 1.10.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-6.1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-6.1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-6.1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-6.1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-6.1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-6.1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-6.1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-6.1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-6.1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-6.1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-6.1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.6-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.6-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.6-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.6-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.6-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.6-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.6-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.5.2-incubating | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-presto | 0.5.2-incubating | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.6.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.1.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.5.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.64\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.232 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.232 | O serviço que executa partes de uma consulta. |
| presto-client | 0.232 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.3 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.5-amzn-0.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.5-amzn-0.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.5-amzn-0.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.5-amzn-0.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.14.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.2 | O notebook baseado na web que permite a análise de dados interativa. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.30.2
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.30.2**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| hudi-env | Altere os valores no ambiente do Hudi. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.30.1 do Amazon EMR
## Versões 5.30.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.30.1 | emr-5.30.0 | emr-5.29.0 | emr-5.28.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.759 | 1.11.759 | 1.11.682 | 1.11.659 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.10.0 | 1.10.0 | 1.9.1 | 1.9.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.10 | 1.4.10 |
| HCatalog | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 |
| Hadoop | 2.8.5-amzn-6 | 2.8.5-amzn-6 | 2.8.5-amzn-5 | 2.8.5-amzn-5 |
| Hive | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 |
| Hudi | 0.5.2-incubating | 0.5.2-incubating | 0.5.0-incubating | 0.5.0-incubating |
| Hue | 4.6.0 | 4.6.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.232 | 0.232 | 0.227 | 0.227 |
| Spark | 2.4.5-amzn-0 | 2.4.5-amzn-0 | 2.4.4 | 2.4.4 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.30.1
As notas da versão a seguir incluem informações para a versão 5.30.1 do Amazon EMR. As alterações são referentes à versão 5.30.0.
Data da versão inicial: 30 de junho de 2020
Data da última atualização: 24 de agosto de 2020
**Alterações, melhorias e problemas resolvidos**
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ Corrigido um problema em que o processo do controlador da instância gerava um número infinito de processos.
+ Corrigido um problema em que o Hue não conseguia executar uma consulta do Hive, mostrando a mensagem “o banco de dados está bloqueado” e impedindo a execução de consultas.
+ Corrigido um problema no Spark para permitir que mais tarefas fossem executadas simultaneamente no cluster do EMR.
+ Corrigido um problema no caderno Jupyter que causava um “erro de muitos arquivos abertos” no servidor Jupyter.
+ Corrigido um problema com as horas de início do cluster.
**Novos recursos**
+ A interface do usuário do Tez e as interfaces de aplicações persistentes do servidor de linha do tempo do YARN estão disponíveis com as versões 6.x do Amazon EMR e com as versões 5.30.1 e posteriores do EMR. O acesso com um clique no link do histórico persistente da aplicação permite que você acesse rapidamente o histórico de tarefas sem configurar um proxy da Web por meio de uma conexão SSH. Os logs de clusters ativos e encerrados ficam disponíveis por 30 dias após o término da aplicação. Para obter mais informações, consulte [View Persistent Application User Interfaces](https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html) no *Guia de gerenciamento do Amazon EMR*.
+ A execução do EMR Notebook APIs está disponível para executar notebooks EMR por meio de um script ou linha de comando. A capacidade de iniciar, parar, listar e descrever as execuções do notebook EMR sem o AWS console permite que você controle programaticamente um notebook EMR. Ao usar uma célula do caderno parametrizada, você pode passar valores de parâmetros diferentes para um caderno sem precisar criar uma cópia do caderno para cada novo conjunto de valores de parâmetros. Consulte [Ações de API do EMR.](https://docs.aws.amazon.com/emr/latest/APIReference/API_Operations.html) Para obter um exemplo de código, consulte [Exemplos de comandos para executar Cadernos do EMR programaticamente.](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-headless.html)
**Problemas conhecidos**
+ **Limite inferior de “Máximo de arquivos abertos” em versões mais antigas AL2 [corrigido em versões mais recentes].** Versões do Amazon EMR: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0 e emr-6.2.0 são baseadas em versões mais antigas do Amazon Linux 2 (), que AL2 têm uma configuração de limite inferior para “Máximo de arquivos abertos” quando clusters do Amazon EMR são criados com a AMI padrão. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”. Versões com o limite inferior de arquivos abertos causam o erro “Muitos arquivos abertos” ao ser enviado um trabalho do Spark. Nas versões afetadas, a AMI padrão do Amazon EMR tem uma configuração de ulimit padrão de 4096 para “Máximo de arquivos abertos”, que é inferior ao limite de 65536 arquivos na AMI mais recente do Amazon Linux 2. A configuração inferior de ulimit para “Máximo de arquivos abertos” causa falhas em trabalhos do Spark quando o driver e o executor do Spark tentam abrir mais de 4096 arquivos. Para corrigir o problema, o Amazon EMR tem um script de ação de bootstrap (BA) que ajusta a configuração de ulimit na criação do cluster.
Se você está usando uma versão mais antiga do Amazon EMR que não tem a correção permanente para esse problema, a solução alternativa a seguir permite que você defina explicitamente o ulimit instance-controller para um máximo de 65536 arquivos.
**Defina explicitamente um ulimit na linha de comando**
1. Edite `/etc/systemd/system/instance-controller.service` para adicionar os seguintes parâmetros à seção Serviço.
`LimitNOFILE=65536`
`LimitNPROC=65536`
1. Reiniciar InstanceController
`$ sudo systemctl daemon-reload`
`$ sudo systemctl restart instance-controller`
**Defina um ulimit usando a ação de bootstrap (BA)**
Você também pode usar um script de ação de bootstrap (BA) para configurar o ulimit instance-controller para 65536 arquivos na criação do cluster.
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
+ **Cadernos do EMR**
O atributo que permite instalar kernels e bibliotecas Python adicionais no nó primário do cluster está desabilitado por padrão na versão 5.30.1 do EMR. Para obter mais informações sobre esse atributo, consulte [Instalar kernels e bibliotecas Python em um nó primário do cluster](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-installing-libraries-and-kernels.html).
Para habilitar o recurso, faça o seguinte:
1. Certifique-se de que a política de permissões anexada ao perfil de serviço para os Cadernos do EMR permite a seguinte ação:
`elasticmapreduce:ListSteps`
Para obter mais informações, consulte [Função de serviço do EMR Notebooks](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-service-role.html).
1. Use o AWS CLI para executar uma etapa no cluster que configura os Notebooks EMR, conforme mostrado no exemplo a seguir. *us-east-1*Substitua pela região em que seu cluster reside. Para obter mais informações, consulte [Adding Steps to a Cluster Using the AWS CLI](https://docs.aws.amazon.com/emr/latest/ManagementGuide/add-step-cli.html).
```
aws emr add-steps --cluster-id MyClusterID --steps Type=CUSTOM_JAR,Name=EMRNotebooksSetup,ActionOnFailure=CONTINUE,Jar=s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://awssupportdatasvcs.com/bootstrap-actions/EMRNotebooksSetup/emr-notebooks-setup.sh"]
```
+ **Ajuste de escala gerenciado**
As operações de ajuste de escala gerenciado nos clusters das versões 5.30.0 e 5.30.1 sem o Presto instalado podem causar falhas na aplicação ou fazer com que um grupo de instâncias ou uma frota de instâncias uniforme permaneça no estado `ARRESTED`, sobretudo quando uma operação de redução da escala verticalmente logo é seguida por uma operação de aumento da escala verticalmente.
Como solução alternativa, escolha o Presto como uma aplicação a ser instalada ao criar um cluster com as versões 5.30.0 e 5.30.1 do Amazon EMR, mesmo que o trabalho não exija o Presto.
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
+ Duas ou mais partições são verificadas na mesma tabela.
+ Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
+ O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).
Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
## Versões de componente 5.30.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.3.0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.14.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.13.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.14.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.5.0 | EMR S3Select Connector |
| emrfs | 2.40.0 | O conector do Amazon S3 para aplicativos do ecossistema do Hadoop. |
| flink-client | 1.10.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-6 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-6 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-6 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-6 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-6 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-6 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-6 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-6 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-6 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-6 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-6 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.6-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.6-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.6-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.6-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.6-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.6-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.6-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.5.2-incubating | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-presto | 0.5.2-incubating | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.6.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.1.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.5.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.64 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.232 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.232 | O serviço que executa partes de uma consulta. |
| presto-client | 0.232 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.3 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.5-amzn-0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.5-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.5-amzn-0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.5-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.14.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.2 | O notebook baseado na web que permite a análise de dados interativa. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.30.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.30.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| hudi-env | Altere os valores no ambiente do Hudi. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.30.0 do Amazon EMR
## Versões 5.30.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.30.0 | emr-5.29.0 | emr-5.28.1 | emr-5.28.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.759 | 1.11.682 | 1.11.659 | 1.11.659 |
| Python | 2.7, 3.7 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.10.0 | 1.9.1 | 1.9.0 | 1.9.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.10 | 1.4.10 | 1.4.10 |
| HCatalog | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 |
| Hadoop | 2.8.5-amzn-6 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-5 |
| Hive | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 |
| Hudi | 0.5.2-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| Hue | 4.6.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Livy | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.232 | 0.227 | 0.227 | 0.227 |
| Spark | 2.4.5-amzn-0 | 2.4.4 | 2.4.4 | 2.4.4 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.30.0
As notas da versão a seguir incluem informações para a versão 5.30.0 do Amazon EMR. As alterações são referentes à versão 5.29.0.
Data da versão inicial: 13 de maio de 2020
Data da última atualização: 25 de junho de 2020
**Atualizações**
+ Atualizado para AWS SDK para Java a versão 1.11.759
+ SDK do Amazon SageMaker Spark atualizado para a versão 1.3.0
+ Atualização do EMR Record Server para a versão 1.6.0
+ Atualização do Flink para a versão 1.10.0
+ Atualização do Ganglia para a versão 3.7.2
+ Atualizado HBase para a versão 1.4.13
+ Atualização do Hudi para a versão 0.5.2-incubating
+ Atualização do Hue para a versão 4.6.0
+ Atualizado JupyterHub para a versão 1.1.0
+ Atualização do Livy para a versão 0.7.0-incubating
+ Atualização do Oozie para a versão 5.2.0
+ Atualização do Presto para a versão 0.232
+ Atualização do Spark para a versão 2.4.5
+ Atualização de conectores e drivers: Amazon Glue Connector 1.12.0; Amazon Kinesis Connector 3.5.0; EMR DynamoDB Connector 4.14.0
**Novos recursos**
+ **Cadernos do EMR**: quando usados com clusters do EMR criados com a versão 5.30.0, os kernels dos Cadernos do EMR são executados no cluster. Isso melhora o desempenho do bloco de anotações e permite que instalar e personalizar kernels. Você também pode instalar bibliotecas Python no nó primário do cluster. Para obter mais informações, consulte [Instalar e usar kernels e bibliotecas](https://docs.aws.amazon.com//emr/latest/ManagementGuide/emr-managed-notebooks-installing-libraries-and-kernels.html) no *EMR Management Guide*.
+ **Ajuste de escala gerenciado**: com as versões 5.30.0 e posteriores do Amazon EMR, é possível habilitar o ajuste de escala gerenciado pelo EMR para aumentar ou diminuir automaticamente o número de instâncias ou unidades no cluster com base na workload. O Amazon EMR avalia continuamente as métricas do cluster para tomar decisões de ajuste de escala que otimizam os clusters em termos de custo e velocidade. Para obter mais informações, consulte [Escalar recursos de cluster](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scale-on-demand.html) no *Guia de gerenciamento do Amazon EMR*.
+ **Criptografe arquivos de log armazenados no Amazon** S3 — Com o Amazon EMR versão 5.30.0 e posterior, você pode criptografar arquivos de log armazenados no Amazon S3 com uma chave gerenciada pelo cliente. AWS KMS Para obter mais informações, consulte [Encrypt log files stored in Amazon S3](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html#emr-log-encryption) no *Guia de gerenciamento do Amazon EMR*.
+ **Suporte ao Amazon Linux 2**: nas versões 5.30.0 e posteriores do EMR, o EMR usa o sistema operacional Amazon Linux 2. A nova personalização AMIs (Amazon Machine Image) deve ser baseada na Amazon Linux 2 AMI. Para obter mais informações, consulte [Usando uma AMI personalizada](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html).
+ **Escalabilidade automática tranquila do Presto**: os clusters do EMR que usam a versão 5.30.0 podem ser definidos com um período limite de ajuste de escala automático que dá tempo às tarefas do Presto para concluir a execução antes do nó delas ser desativado. Para obter mais informações, consulte [Usar a escalabilidade automática do Presto com desativação tranquila](presto-graceful-autoscale.md).
+ **Criação de instância de frota com nova opção de estratégia de alocação**: uma nova opção de estratégia de alocação está disponível nas versões 5.12.1 e posteriores do EMR. Ele oferece provisionamento de cluster mais rápido, alocação de spot mais precisa e menos interrupção de instâncias spot. São necessárias atualizações para perfis de serviço do EMR não padrão. Consulte [Configurar frotas de instâncias](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-instance-fleet.html).
+ **Comandos sudo systemctl stop e sudo systemctl start**: nas versões 5.30.0 e posteriores do EMR, que usam o sistema operacional Amazon Linux 2, o EMR usa os comandos `sudo systemctl stop` e `sudo systemctl start` para reiniciar serviços. Para obter mais informações, consulte [Como reinicio um serviço no Amazon EMR?](https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/).
**Alterações, melhorias e problemas resolvidos**
+ O EMR versão 5.30.0 não instala o Ganglia por padrão. É possível selecionar explicitamente o Ganglia para ser instalado ao criar um cluster.
+ Otimizações do desempenho do Spark
+ Otimizações do desempenho do Presto
+ O Python 3 é o padrão para as versões 5.30.0 e posteriores do Amazon EMR.
+ O grupo de segurança gerenciado padrão para acesso ao serviço em sub-redes privadas foi atualizado com novas regras. Se você usar um grupo de segurança personalizado para acesso ao serviço, será necessário incluir as mesmas regras do grupo de segurança gerenciado padrão. Para obter mais informações, consulte [Grupo de segurança gerenciado pelo Amazon EMR para acesso ao serviço (sub-redes privadas)](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-man-sec-groups.html#emr-sg-elasticmapreduce-sa-private). Se você usar um perfil de serviço personalizado para o Amazon EMR, será necessário conceder permissão para `ec2:describeSecurityGroups` de modo que o EMR possa validar se os grupos de segurança são criados corretamente. Se você usar o `EMR_DefaultRole`, essa permissão já estará incluída na política gerenciada padrão.
**Problemas conhecidos**
+ **Limite inferior de “Máximo de arquivos abertos” em versões mais antigas AL2 [corrigido em versões mais recentes].** Versões do Amazon EMR: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0 e emr-6.2.0 são baseadas em versões mais antigas do Amazon Linux 2 (), que AL2 têm uma configuração de limite inferior para “Máximo de arquivos abertos” quando clusters do Amazon EMR são criados com a AMI padrão. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”. Versões com o limite inferior de arquivos abertos causam o erro “Muitos arquivos abertos” ao ser enviado um trabalho do Spark. Nas versões afetadas, a AMI padrão do Amazon EMR tem uma configuração de ulimit padrão de 4096 para “Máximo de arquivos abertos”, que é inferior ao limite de 65536 arquivos na AMI mais recente do Amazon Linux 2. A configuração inferior de ulimit para “Máximo de arquivos abertos” causa falhas em trabalhos do Spark quando o driver e o executor do Spark tentam abrir mais de 4096 arquivos. Para corrigir o problema, o Amazon EMR tem um script de ação de bootstrap (BA) que ajusta a configuração de ulimit na criação do cluster.
Se você está usando uma versão mais antiga do Amazon EMR que não tem a correção permanente para esse problema, a solução alternativa a seguir permite que você defina explicitamente o ulimit instance-controller para um máximo de 65536 arquivos.
**Defina explicitamente um ulimit na linha de comando**
1. Edite `/etc/systemd/system/instance-controller.service` para adicionar os seguintes parâmetros à seção Serviço.
`LimitNOFILE=65536`
`LimitNPROC=65536`
1. Reiniciar InstanceController
`$ sudo systemctl daemon-reload`
`$ sudo systemctl restart instance-controller`
**Defina um ulimit usando a ação de bootstrap (BA)**
Você também pode usar um script de ação de bootstrap (BA) para configurar o ulimit instance-controller para 65536 arquivos na criação do cluster.
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
+ **Ajuste de escala gerenciado**
As operações de ajuste de escala gerenciado nos clusters das versões 5.30.0 e 5.30.1 sem o Presto instalado podem causar falhas na aplicação ou fazer com que um grupo de instâncias ou uma frota de instâncias uniforme permaneça no estado `ARRESTED`, sobretudo quando uma operação de redução da escala verticalmente logo é seguida por uma operação de aumento da escala verticalmente.
Como solução alternativa, escolha o Presto como uma aplicação a ser instalada ao criar um cluster com as versões 5.30.0 e 5.30.1 do Amazon EMR, mesmo que o trabalho não exija o Presto.
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
+ O mecanismo de banco de dados padrão para o Hue 4.6.0 é SQLite, o que causa problemas quando você tenta usar o Hue com um banco de dados externo. Para corrigir isso, defina `engine` na sua classificação de configuração `hue-ini` como `mysql`. Esse problema foi corrigido na versão 5.30.1 do Amazon EMR.
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
+ Duas ou mais partições são verificadas na mesma tabela.
+ Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
+ O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).
Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
## Versões de componente 5.30.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.3.0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.14.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.13.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-notebook-env | 1.0.0 | Conda env para bloco de anotações do EMR |
| emr-s3-dist-cp | 2.14.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.5.0 | EMR S3Select Connector |
| emrfs | 2.40.0 | O conector do Amazon S3 para aplicativos do ecossistema do Hadoop. |
| flink-client | 1.10.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-6 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-6 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-6 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-6 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-6 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-6 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-6 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-6 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-6 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-6 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-6 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.13 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.13 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.13 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.13 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.13 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.6-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.6-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.6-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.6-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.6-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.6-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.6-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.5.2-incubating | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-presto | 0.5.2-incubating | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.6.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.1.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.5.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mariadb-server | 5.5.64 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.232 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.232 | O serviço que executa partes de uma consulta. |
| presto-client | 0.232 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.3 | O projeto R para computação estatística |
| ranger-kms-server | 1.2.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 2.4.5-amzn-0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.5-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.5-amzn-0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.5-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.14.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.2 | O notebook baseado na web que permite a análise de dados interativa. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.30.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.30.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| hudi-env | Altere os valores no ambiente do Hudi. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.29.0 do Amazon EMR
## Versões 5.29.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.29.0 | emr-5.28.1 | emr-5.28.0 | emr-5.27.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.682 | 1.11.659 | 1.11.659 | 1.11.615 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.9.1 | 1.9.0 | 1.9.0 | 1.8.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 |
| HCatalog | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 |
| Hadoop | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-4 |
| Hive | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 |
| Hudi | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.4.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.2- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.227 | 0.227 | 0.227 | 0.224 |
| Spark | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.29.0
As notas da versão a seguir incluem informações para a versão 5.29.0 do Amazon EMR. As alterações são referentes à versão 5.28.1.
Data da versão inicial: 17 de janeiro de 2020
**Atualizações**
+ Atualizado para AWS SDK para Java a versão 1.11.682
+ Atualizado o Hive para a versão 2.3.6
+ Atualizado o Flink para a versão 1.9.1
+ Atualizado o EMRFS para a versão 2.38.0
+ Atualizado o conector do DynamoDB para EMR, versão 4.13.0
**Alterações, melhorias e problemas resolvidos**
+ Spark
+ Otimizações do desempenho do Spark
+ EMRFS
+ O Guia de gerenciamento é atualizado para as configurações padrão emrfs-site.xml para uma visualização consistente.
**Problemas conhecidos**
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.29.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.6 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.13.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.12.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.13.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.4.0 | EMR S3Select Connector |
| emrfs | 2.38.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.9.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-5 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-5 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-5 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-5 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-5 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-5 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-5 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-5 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-5 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-5 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-5 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.10 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.10 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.10 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.10 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.10 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.6-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.6-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.6-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.6-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.6-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.6-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.6-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.5.0-incubating | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-presto | 0.5.0-incubating | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.4.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.0.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.6.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.5.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.227 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.227 | O serviço que executa partes de uma consulta. |
| presto-client | 0.227 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.4 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.4 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.4 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.4 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.14.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.2 | O notebook baseado na web que permite a análise de dados interativa. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.29.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.29.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.28.1 do Amazon EMR
## Versões 5.28.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.28.1 | emr-5.28.0 | emr-5.27.1 | emr-5.27.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.659 | 1.11.659 | 1.11.615 | 1.11.615 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.9.0 | 1.9.0 | 1.8.1 | 1.8.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 |
| HCatalog | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 |
| Hadoop | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-4 | 2.8.5-amzn-4 |
| Hive | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 |
| Hudi | 0.5.0-incubating | 0.5.0-incubating | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.5.1 | 1.4.0 | 1.4.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.3- -1,4 HBase | 4.14.2- -1,4 HBase | 4.14.2- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.227 | 0.227 | 0.224 | 0.224 |
| Spark | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.28.1
As notas da versão a seguir incluem informações para a versão 5.28.1 do Amazon EMR. As alterações são referentes à versão 5.28.0.
Data da versão inicial: 10 de janeiro de 2020
**Alterações, melhorias e problemas resolvidos**
+ Spark
+ Correção de problemas de compatibilidade do Spark.
+ CloudWatch Métricas
+ Foi corrigida a publicação do Amazon CloudWatch Metrics em um cluster do EMR com vários nós primários.
+ Desabilitada mensagem de log
+ Desabilitada mensagem de log falsa, “... uso de versão antiga (<4.5.8) do cliente Apache http”.
**Problemas conhecidos**
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.28.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.6 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.12.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.11.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.13.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.3.0 | EMR S3Select Connector |
| emrfs | 2.37.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.9.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-5 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-5 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-5 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-5 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-5 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-5 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-5 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-5 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-5 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-5 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-5 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.10 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.10 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.10 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.10 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.10 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.6-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.6-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.6-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.6-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.6-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.6-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.6-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.5.0-incubating | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-presto | 0.5.0-incubating | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.4.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.0.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.6.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.5.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.227 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.227 | O serviço que executa partes de uma consulta. |
| presto-client | 0.227 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.4 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.4 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.4 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.4 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.14.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.2 | O notebook baseado na web que permite a análise de dados interativa. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.28.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.28.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.28.0 do Amazon EMR
## Versões 5.28.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.28.0 | emr-5.27.1 | emr-5.27.0 | emr-5.26.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.659 | 1.11.615 | 1.11.615 | 1.11.595 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.9.0 | 1.8.1 | 1.8.1 | 1.8.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 |
| HCatalog | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 |
| Hadoop | 2.8.5-amzn-5 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 |
| Hive | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 |
| Hudi | 0.5.0-incubating | - | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.0.0 | 1.0.0 | 1.0.0 | 0.9.6 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.4.0 | 1.4.0 | 1.4.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.3- -1,4 HBase | 4.14.2- -1,4 HBase | 4.14.2- -1,4 HBase | 4.14.2- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.227 | 0.224 | 0.224 | 0.220 |
| Spark | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.3 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.13.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.28.0
As notas da versão a seguir incluem informações para a versão 5.28.0 do Amazon EMR. As alterações são referentes à 5.27.0.
Data da versão inicial: 12 de novembro de 2019
**Atualizações**
+ Flink atualizado para a versão 1.9.0
+ Atualizado o Hive para a versão 2.3.6
+ Atualizado MXNet para a versão 1.5.1
+ Phoenix atualizado para a versão 4.14.3
+ Presto atualizado para a versão 0.227
+ Zeppelin atualizado para a versão 0.8.2
**Novos recursos**
+ O [Apache Hudi](https://hudi.apache.org/) agora está disponível para o Amazon EMR instalar na criação de um cluster. Para obter mais informações, consulte [Hudi](emr-hudi.md).
+ (25 de novembro de 2019) Agora você pode optar por executar várias etapas em paralelo para melhorar a utilização do cluster e economizar custos. Pode também cancelar etapas pendentes e em execução. Para obter mais informações, consulte [Trabalhar com etapas usando o console AWS CLI e.](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-work-with-steps.html)
+ (3 de dezembro de 2019) Agora você pode criar e executar clusters do EMR no. AWS Outposts AWS Outposts habilita AWS serviços, infraestrutura e modelos operacionais nativos em instalações locais. Em AWS Outposts ambientes, você pode usar as mesmas AWS APIs ferramentas e infraestrutura que usa na AWS nuvem. Para obter mais informações, consulte [Clusters do EMR ativados. AWS Outposts](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-outposts.html)
+ (11 de março de 2020) A partir da versão 5.28.0 do Amazon EMR, você pode criar e executar clusters do Amazon EMR em uma sub-rede de Zonas AWS Locais como uma extensão lógica de uma região que suporta Zonas Locais. AWS Uma zona local permite que os recursos do Amazon EMR e um subconjunto de AWS serviços, como serviços de computação e armazenamento, estejam localizados mais perto dos usuários, fornecendo acesso de latência muito baixa aos aplicativos executados localmente. Para obter uma lista das zonas locais disponíveis, consulte [Zonas locais da AWS](https://aws.amazon.com/about-aws/global-infrastructure/localzones/). Para obter informações sobre como acessar as Zonas AWS Locais disponíveis, consulte [Regiões, Zonas de Disponibilidade e Zonas Locais](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-regions-availability-zones.html).
Atualmente, as zonas locais não são compatíveis com os Cadernos do Amazon EMR nem com conexões diretas com o Amazon EMR usando o endpoint da VPC da interface (AWS PrivateLink).
**Alterações, melhorias e problemas resolvidos**
+ Suporte expandido do aplicativo para clusters de alta disponibilidade
+ Para obter mais informações, consulte [Supported applications in an EMR cluster with Multiple Primary Nodes](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-applications.html#emr-plan-ha-applications-list) no *Guia de gerenciamento do Amazon EMR*.
+ Spark
+ Otimizações da performance
+ Hive
+ Otimizações da performance
+ Presto
+ Otimizações da performance
**Problemas conhecidos**
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.28.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.6 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.12.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.11.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.13.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.3.0 | EMR S3Select Connector |
| emrfs | 2.37.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.9.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-5 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-5 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-5 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-5 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-5 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-5 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-5 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-5 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-5 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-5 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-5 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.10 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.10 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.10 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.10 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.10 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.6-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.6-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.6-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.6-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.6-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.6-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.6-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.5.0-incubating | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-presto | 0.5.0-incubating | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hue-server | 4.4.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.0.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.6.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.5.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.3- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.3- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.227 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.227 | O serviço que executa partes de uma consulta. |
| presto-client | 0.227 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.4 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.4 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.4 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.4 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.14.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.2 | O notebook baseado na web que permite a análise de dados interativa. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.28.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.28.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.27.1 do Amazon EMR
## Versões 5.27.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.27.1 | emr-5.27.0 | emr-5.26.0 | emr-5.25.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.615 | 1.11.615 | 1.11.595 | 1.11.566 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.8.1 | 1.8.1 | 1.8.0 | 1.8.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.9 |
| HCatalog | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 |
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 |
| Hive | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.0.0 | 1.0.0 | 0.9.6 | 0.9.6 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.2- -1,4 HBase | 4.14.2- -1,4 HBase | 4.14.2- -1,4 HBase | 4.14.1- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.224 | 0.224 | 0.220 | 0.220 |
| Spark | 2.4.4 | 2.4.4 | 2.4.3 | 2.4.3 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.13.1 | 1.13.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## Notas da versão 5.27.1
Esta é uma versão de patch. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
Status de suporte do Instance Metadata Service (IMDS) V2: os componentes do Amazon EMR 5.23.1, 5.27.1 e 5.32 ou posteriores são usados para todas as chamadas do IMDS. IMDSv2 Para chamadas IMDS no código do aplicativo, você pode usar ambos IMDSv1 e IMDSv2, ou configurar o IMDS para uso somente IMDSv2 para aumentar a segurança. Para outras versões 5.x do EMR, a IMDSv1 desativação causa falha na inicialização do cluster.
## Versões de componente 5.27.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.4 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.12.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.11.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.13.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.3.0 | EMR S3Select Connector |
| emrfs | 2.36.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.8.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-4 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-4 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.10 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.10 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.10 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.10 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.10 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.5-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.5-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.5-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.5-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.5-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.5-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.5-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.4.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.0.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.6.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.4.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.2- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.2- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.224 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.224 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.4 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.4 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.4 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.4 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.14.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.27.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.27.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.27.0 do Amazon EMR
## Versões 5.27.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.27.0 | emr-5.26.0 | emr-5.25.0 | emr-5.24.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.615 | 1.11.595 | 1.11.566 | 1.11.546 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.8.1 | 1.8.0 | 1.8.0 | 1.8.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.10 | 1.4.10 | 1.4.9 | 1.4.9 |
| HCatalog | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 |
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 |
| Hive | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.0.0 | 0.9.6 | 0.9.6 | 0.9.6 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.2- -1,4 HBase | 4.14.2- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.224 | 0.220 | 0.220 | 0.219 |
| Spark | 2.4.4 | 2.4.3 | 2.4.3 | 2.4.2 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.13.1 | 1.13.1 | 1.12.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.13 |
## Notas da versão 5.27.0
As notas da versão a seguir incluem informações para a versão 5.27.0 do Amazon EMR. As alterações são referentes à versão 5.26.0.
Data da versão inicial: 23 de setembro de 2019
**Atualizações**
+ AWS SDK para Java 1.11.615
+ Flink 1.8.1
+ JupyterHub 1.0.0
+ Spark 2.4.4
+ Tensorflow 1.14.0
+ Conectores e drivers:
+ Conector do DynamoDB 4.12.0
**Novos recursos**
+ (24 de outubro de 2019) Os seguintes novos atributos dos Cadernos do EMR estão disponíveis em todas as versões do Amazon EMR.
+ É possível associar repositórios do Git a Cadernos do EMR para armazenar os cadernos em um ambiente controlado de versão. Você pode compartilhar códigos com pares e reutilizar cadernos Jupyter existentes por meio de repositórios do Git remotos. Para obter mais informações, consulte [Associate Git Repositories with Amazon EMR Notebooks](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-git-repo.html) no *Guia de gerenciamento do Amazon EMR*.
+ O [utilitário nbdime](https://github.com/jupyter/nbdime) agora está disponível em Cadernos do EMR para simplificar a comparação e a mesclagem de cadernos.
+ Agora há suporte para notebooks EMR. JupyterLab JupyterLab é um ambiente de desenvolvimento interativo baseado na Web totalmente compatível com os notebooks Jupyter. Agora você pode optar por abrir seu caderno em um JupyterLab ou no editor de cadernos Jupyter.
+ (30 de outubro de 2019) Com as versões 5.25.0 e posteriores do Amazon EMR, é possível conectar-se ao servidor de histórico do Spark na página **Resumo** do cluster ou na guia **Histórico da aplicação** no console. Em vez de configurar um proxy da Web por meio de uma conexão SSH, você pode acessar rapidamente a interface do usuário do servidor de histórico do Spark para visualizar as métricas da aplicação e acessar arquivos de log relevantes para clusters ativos e encerrados. Para obter mais informações, consulte [Acesso fora do cluster a interfaces de usuário de aplicações persistentes](https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html) no *Guia de gerenciamento do Amazon EMR*.
**Alterações, melhorias e problemas resolvidos**
+ Cluster do Amazon EMR com vários nós primários
+ Você pode instalar e executar o Flink em um cluster do Amazon EMR com vários nós primários. Para obter mais informações, consulte [Supported applications and features](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-applications.html).
+ Você pode configurar a criptografia transparente do HDFS em um cluster do Amazon EMR com vários nós primários. Para obter mais informações, consulte [Criptografia transparente do HDFS em clusters do EMR com vários nós primários](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-encryption-tdehdfs.html#emr-hadoop-kms-multi-master).
+ Agora você pode modificar a configuração das aplicações em execução em um cluster do Amazon EMR com vários nós primários. Para obter mais informações, consulte [Supplying a Configuration for an Instance Group in a Running Cluster](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html).
+ Conector Amazon EMR-DynamoDB
+ O conector Amazon EMR-DynamoDB agora é compatível com os seguintes tipos de dados do DynamoDB: booleanos, lista, mapa, item, nulos. Para obter mais informações, consulte [Configurar uma tabela do Hive para executar comandos do Hive](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/EMR_Interactive_Hive.html).
**Problemas conhecidos**
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.27.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.4 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.12.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.11.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.13.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.3.0 | EMR S3Select Connector |
| emrfs | 2.36.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.8.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-4 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-4 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.10 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.10 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.10 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.10 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.10 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.5-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.5-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.5-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.5-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.5-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.5-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.5-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.4.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 1.0.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.6.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.4.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.2- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.2- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.224 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.224 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.4 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.4 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.4 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.4 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.14.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.27.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.27.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. |
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. |
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. |
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. |
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.26.0 do Amazon EMR
## Versões 5.26.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.26.0 | emr-5.25.0 | emr-5.24.1 | emr-5.24.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.595 | 1.11.566 | 1.11.546 | 1.11.546 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.10 | 1.4.9 | 1.4.9 | 1.4.9 |
| HCatalog | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 |
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 |
| Hive | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.6 | 0.9.6 | 0.9.6 | 0.9.6 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.2- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.220 | 0.220 | 0.219 | 0.219 |
| Spark | 2.4.3 | 2.4.3 | 2.4.2 | 2.4.2 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.13.1 | 1.13.1 | 1.12.0 | 1.12.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.13 | 3.4.13 |
## Notas da versão 5.26.0
As notas da versão a seguir incluem informações para a versão 5.26.0 do Amazon EMR. As alterações são referentes à versão 5.25.0.
Data da versão inicial: 8 de agosto de 2019
Data da última atualização: 19 de agosto de 2019
**Atualizações**
+ AWS SDK para Java 1.11.595
+ HBase 1.4.10
+ Phoenix 4.14.2
+ Conectores e drivers:
+ Conector do DynamoDB 4.11.0
+ Conector do MariaDB 2.4.2
+ Driver JDBC do Amazon Redshift, 1.2.32.1056
**Novos recursos**
+ (Beta) Com a versão 5.26.0 do Amazon EMR, você pode iniciar um cluster que se integre ao Lake Formation. Essa integração fornece acesso refinado em nível de coluna a bancos de dados e tabelas no Glue Data Catalog. AWS Ela também permite logon único federado para Cadernos do EMR ou para o Apache Zeppelin em um sistema de identidade empresarial. Para obter mais informações, consulte [Integração do Amazon EMR AWS Lake Formation com (](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lake-formation.html)Beta).
+ (19 de agosto de 2019) O bloqueio de acesso público do Amazon EMR agora está disponível em todas as versões do Amazon EMR compatíveis com grupos de segurança. Bloquear o acesso público é uma configuração de toda a conta aplicada a cada AWS região. Bloquear o acesso público impede que um cluster seja iniciado quando qualquer grupo de segurança associado ao cluster tem uma regra que permite tráfego de entrada de IPv4 0.0.0.0/0 ou IPv6 : :/0 (acesso público) em uma porta, a menos que uma porta seja especificada como uma exceção. A porta 22 é uma exceção por padrão. Para obter mais informações, consulte [Usar o bloqueio de acesso público do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-block-public-access.html) no *Guia de gerenciamento do Amazon EMR*.
**Alterações, melhorias e problemas resolvidos**
+ Cadernos do EMR
+ Com as versões 5.26.0 e posteriores do EMR, os Cadernos do EMR são compatíveis com as bibliotecas Python com escopo de caderno, além das bibliotecas Python padrão. Você pode instalar bibliotecas com escopo de caderno de dentro do editor de caderno sem precisar recriar um cluster ou reanexar um caderno a um cluster. As bibliotecas com escopo de caderno são criadas em um ambiente Python virtual para serem aplicadas somente à sessão de caderno atual. Isso permite isolar as dependências do caderno. Para obter mais informações, consulte [Usar bibliotecas com escopo de caderno](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-custom-libraries-limitations.html) no *Guia de gerenciamento do Amazon EMR*.
+ EMRFS
+ Você pode ativar um recurso ETag de verificação (Beta) configurando `fs.s3.consistent.metadata.etag.verification.enabled` como`true`. Com esse recurso, o EMRFS usa o Amazon ETags S3 para verificar se os objetos que estão sendo lidos são a versão mais recente disponível. Esse recurso é útil para casos de read-after-update uso em que os arquivos no Amazon S3 são sobrescritos, mantendo o mesmo nome. Atualmente, esse recurso de ETag verificação não funciona com o S3 Select. Para obter mais informações, consulte [Configurar visualização consistente](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emrfs-configure-consistent-view.html).
+ Spark
+ As seguintes otimizações agora estão habilitadas por padrão: remoção dinâmica de partições, DISTINCT antes de INTERSECT, melhorias na inferência de estatísticas do plano SQL para JOIN seguida por consultas DISTINCT, nivelamento de subconsultas escalares, reordenamento otimizado de junções e junção com filtro de Bloom. Para obter mais informações, consulte [Otimizar a performance do Spark](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-performance.html).
+ Aprimorada a geração de código de estágio completo para Sort-Merge Join.
+ Aprimorado o fragmento de consulta e a reutilização de subconsultas.
+ Melhorias na pré-alocação de executores na inicialização do Spark.
+ As junções com filtro de Bloom não são mais aplicadas quando o lado menor da junção inclui uma dica de transmissão.
+ Tez
+ Resolvido um problema com o Tez. A IU do Tez agora funciona em um cluster do Amazon EMR com vários nós primários.
**Problemas conhecidos**
+ Os recursos aprimorados de geração de código em todo o estágio de Sort Merge Join podem aumentar a pressão de memória quando habilitados. Essa otimização melhora a performance, mas pode resultar em novas tentativas ou falhas de trabalho se `spark.yarn.executor.memoryOverheadFactor` não for ajustado para fornecer memória suficiente. Para desabilitar esse atributo, defina `spark.sql.sortMergeJoinExec.extendedCodegen.enabled` como falso.
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.26.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.4 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.11.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.10.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.12.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.3.0 | EMR S3Select Connector |
| emrfs | 2.35.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.8.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-4 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-4 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.10 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.10 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.10 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.10 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.10 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.5-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.5-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.5-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.5-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.5-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.5-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.5-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.4.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.6 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.6.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.4.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.2- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.2- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.220 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.220 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.3 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.3 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.3 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.3 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.13.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.26.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.26.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.25.0 do Amazon EMR
## Versões 5.25.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.25.0 | emr-5.24.1 | emr-5.24.0 | emr-5.23.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.566 | 1.11.546 | 1.11.546 | 1.11.519 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 |
| HCatalog | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 |
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-3 |
| Hive | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.6 | 0.9.6 | 0.9.6 | 0.9.4 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.5.0-incubating |
| MXNet | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.220 | 0.219 | 0.219 | 0.215 |
| Spark | 2.4.3 | 2.4.2 | 2.4.2 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.13.1 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.2 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.13 | 3.4.13 | 3.4.13 |
## Notas da versão 5.25.0
As notas da versão a seguir incluem informações para a versão 5.25.0 do Amazon EMR. As alterações são referentes à versão 5.24.1.
Data da versão inicial: 17 de julho de 2019
Data da última atualização: 30 de outubro de 2019
**Amazon EMR 5.25.0**
**Atualizações**
+ AWS SDK para Java 1.11.566
+ Hive 2.3.5
+ Presto 0.220
+ Spark 2.4.3
+ TensorFlow 1.13.1
+ Tez 0.9.2
+ Zookeeper 3.4.14
**Novos recursos**
+ (30 de outubro de 2019) Desde a versão 5.25.0 do Amazon EMR, é possível conectar-se ao servidor de histórico do Spark na página **Resumo** do cluster ou na guia **Histórico da aplicação** no console. Em vez de configurar um proxy da Web por meio de uma conexão SSH, você pode acessar rapidamente a interface do usuário do servidor de histórico do Spark para visualizar as métricas da aplicação e acessar arquivos de log relevantes para clusters ativos e encerrados. Para obter mais informações, consulte [Acesso fora do cluster a interfaces de usuário de aplicações persistentes](https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html) no *Guia de gerenciamento do Amazon EMR*.
**Alterações, melhorias e problemas resolvidos**
+ Spark
+ Aprimorada a performance de algumas junções usando filtros de Bloom para pré-filtrar as entradas. A otimização é desabilitada por padrão e pode ser habilitada com a definição do parâmetro `spark.sql.bloomFilterJoin.enabled` de configuração do Spark como `true`.
+ Aprimorada a performance do agrupamento por colunas do tipo string.
+ Melhorou a memória padrão do executor Spark e a configuração dos núcleos dos tipos de instância R4 para clusters sem instalação. HBase
+ Resolvido um problema anterior com o atributo de remoção dinâmica de partições, em que a tabela removida precisava estar no lado esquerdo da junção.
+ Aprimorada a otimização do DISTINCT antes do INTERSECT para ser aplicada a casos adicionais envolvendo aliases.
+ Aprimorada a inferência de estatísticas do plano SQL para JOIN seguida por consultas DISTINCT. Essa melhoria é desabilitada por padrão e pode ser habilitada pela definição do parâmetro `spark.sql.statsImprovements.enabled` de configuração do Spark como `true`. Essa otimização é exigida pelo atributo Distinct antes do Intersect e será habilitada automaticamente quando `spark.sql.optimizer.distinctBeforeIntersect.enabled` estiver definido como `true`.
+ Otimizada a ordem de junção com base no tamanho da tabela e nos filtros. Essa otimização é desativada por padrão e pode ser ativada com a definição do parâmetro `spark.sql.optimizer.sizeBasedJoinReorder.enabled` de configuração do Spark como `true`.
Para obter mais informações, consulte [Otimizar a performance do Spark](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-performance.html).
+ EMRFS
+ A configuração do EMRFS, `fs.s3.buckets.create.enabled`, agora está desabilitada por padrão. Por meio de testes, descobrimos que a desabilitação dessa configuração melhora a performance e evita a criação não intencional de buckets do S3. Se sua aplicação depende dessa funcionalidade, você pode habilitá-la definindo a propriedade `fs.s3.buckets.create.enabled` como `true` na classificação de configuração `emrfs-site`. Para obter informações, consulte [Supplying a Configuration when Creating a Cluster](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-create-cluster.html).
+ Melhorias na criptografia de disco local e na criptografia do S3 nas configurações de segurança (5 de agosto de 2019)
+ Separadas as configurações de criptografia do Amazon S3 das configurações de criptografia de disco local na configuração de segurança.
+ Adicionada uma opção para habilitar a criptografia do EBS com as versões 5.24.0 e posteriores. Selecionar essa opção criptografa o volume do dispositivo raiz, além dos volumes de armazenamento. As versões anteriores exigiam o uso de uma AMI personalizada para criptografar o volume do dispositivo raiz.
+ Para obter mais informações, consulte [Opções de criptografia](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-data-encryption-options.html) no *Guia de gerenciamento do Amazon EMR*.
**Problemas conhecidos**
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.25.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.4 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.10.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.9.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.11.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.3.0 | EMR S3Select Connector |
| emrfs | 2.34.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.8.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-4 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-4 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.9 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.9 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.9 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.9 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.9 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.5-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.5-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.5-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.5-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.5-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.5-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.5-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.4.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.6 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.6.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.4.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.1- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.1- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.220 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.220 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.3 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.3 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.3 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.3 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.13.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.25.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.25.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer |
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. |
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.24.1 do Amazon EMR
## Versões 5.24.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.24.1 | emr-5.24.0 | emr-5.23.1 | emr-5.23.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.546 | 1.11.546 | 1.11.519 | 1.11.519 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.8.0 | 1.8.0 | 1.7.1 | 1.7.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 |
| HCatalog | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 |
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-3 | 2.8.5-amzn-3 |
| Hive | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.6 | 0.9.6 | 0.9.4 | 0.9.4 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.4.0 | 1.4.0 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.219 | 0.219 | 0.215 | 0.215 |
| Spark | 2.4.2 | 2.4.2 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## Notas da versão 5.24.1
As notas da versão a seguir incluem informações para a versão 5.24.1 do Amazon EMR. As alterações são referentes à versão 5.24.0.
Data da versão inicial: 26 de junho de 2019
**Alterações, melhorias e problemas resolvidos**
+ Atualizada a AMI padrão do Amazon Linux para Amazon EMR para incluir atualizações de segurança importantes do kernel Linux, incluindo o problema de negação de serviço do TCP SACK ([AWS-2019-005](https://aws.amazon.com/security/security-bulletins/AWS-2019-005/)).
**Problemas conhecidos**
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.24.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.9.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.8.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.11.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.3.0 | EMR S3Select Connector |
| emrfs | 2.33.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.8.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-4 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-4 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.9 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.9 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.9 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.9 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.9 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.4-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.4-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.4-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.4-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.4-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.4-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.4-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.4.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.6 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.6.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.4.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.1- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.1- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.219 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.219 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.12.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.1 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.13 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.13 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.24.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.24.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.24.0 do Amazon EMR
## Versões 5.24.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.24.0 | emr-5.23.1 | emr-5.23.0 | emr-5.22.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.546 | 1.11.519 | 1.11.519 | 1.11.510 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.8.0 | 1.7.1 | 1.7.1 | 1.7.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 |
| HCatalog | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 |
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-3 | 2.8.5-amzn-3 | 2.8.5-amzn-2 |
| Hive | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.4.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.6 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.6.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.219 | 0.215 | 0.215 | 0.215 |
| Spark | 2.4.2 | 2.4.0 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## Notas da versão 5.24.0
As notas da versão a seguir incluem informações para a versão 5.24.0 do Amazon EMR. As alterações são referentes à versão 5.23.0.
Data da versão inicial: 11 de junho de 2019
Data da última atualização: 5 de agosto de 2019
**Atualizações**
+ Flink 1.8.0
+ Hue 4.4.0
+ JupyterHub 0.9.6
+ Livy 0.6.0
+ MxNet 1.4.0
+ Presto 0.219
+ Spark 2.4.2
+ AWS SDK para Java 1.11.546
+ Conectores e drivers:
+ Conector do DynamoDB 4.9.0
+ Conector do MariaDB 2.4.1
+ Driver JDBC do Amazon Redshift, 1.2.27.1051
**Alterações, melhorias e problemas resolvidos**
+ Spark
+ Adicionada otimização para remover partições dinamicamente. A otimização está desabilitada por padrão. Para habilitá-la, defina o parâmetro `spark.sql.dynamicPartitionPruning.enabled` de configuração do Spark como `true`.
+ Aprimorada a performance de consultas `INTERSECT`. Essa otimização está desabilitada por padrão. Para habilitá-la, defina o parâmetro `spark.sql.optimizer.distinctBeforeIntersect.enabled` de configuração do Spark como `true`.
+ Adicionada otimização para nivelar subconsultas escalares com agregados que usam a mesma relação. A otimização está desabilitada por padrão. Para habilitá-la, defina o parâmetro `spark.sql.optimizer.flattenScalarSubqueriesWithAggregates.enabled` de configuração do Spark como `true`.
+ Aprimorada a geração de código em todo o estágio.
Para obter mais informações, consulte [Otimizar a performance do Spark](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-performance.html).
+ Melhorias na criptografia de disco local e na criptografia do S3 nas configurações de segurança (5 de agosto de 2019)
+ Separadas as configurações de criptografia do Amazon S3 das configurações de criptografia de disco local na configuração de segurança.
+ Adicionada uma opção para habilitar a criptografia do EBS. Selecionar essa opção criptografa o volume do dispositivo raiz, além dos volumes de armazenamento. As versões anteriores exigiam o uso de uma AMI personalizada para criptografar o volume do dispositivo raiz.
+ Para obter mais informações, consulte [Opções de criptografia](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-data-encryption-options.html) no *Guia de gerenciamento do Amazon EMR*.
**Problemas conhecidos**
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.24.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.9.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.8.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.11.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.3.0 | EMR S3Select Connector |
| emrfs | 2.33.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.8.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-4 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-4 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.9 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.9 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.9 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.9 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.9 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.4-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.4-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.4-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.4-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.4-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.4-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.4-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.4.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.6 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.6.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.4.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.1- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.1- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.219 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.219 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.12.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.1 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.13 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.13 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.24.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.24.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.23.1 do Amazon EMR
## Versões 5.23.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.23.1 | emr-5.23.0 | emr-5.22.0 | emr-5.21.2 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.519 | 1.11.519 | 1.11.510 | 1.11.479 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.8 |
| HCatalog | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 |
| Hadoop | 2.8.5-amzn-3 | 2.8.5-amzn-3 | 2.8.5-amzn-2 | 2.8.5-amzn-1 |
| Hive | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.0.0 |
| Phoenix | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.215 | 0.215 | 0.215 | 0.215 |
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## Notas da versão 5.23.1
Esta é uma versão de patch. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
Status de suporte do Instance Metadata Service (IMDS) V2: os componentes do Amazon EMR 5.23.1, 5.27.1 e 5.32 ou posteriores são usados para todas as chamadas do IMDS. IMDSv2 Para chamadas IMDS no código do aplicativo, você pode usar ambos IMDSv1 e IMDSv2, ou configurar o IMDS para uso somente IMDSv2 para aumentar a segurança. Para outras versões 5.x do EMR, a IMDSv1 desativação causa falha na inicialização do cluster.
## Versões de componente 5.23.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.8.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.7.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.11.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.2.0 | EMR S3Select Connector |
| emrfs | 2.32.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.7.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-3 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-3 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-3 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-3 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-3 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-3 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-3 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-3 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.9 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.9 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.9 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.9 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.9 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.4-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.4-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.4-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.4-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.4-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.4-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.4-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.3.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.4 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.3.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.1- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.1- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.215 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.215 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.12.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.1 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.13 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.13 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.23.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.23.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.23.0 do Amazon EMR
## Versões 5.23.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.23.0 | emr-5.22.0 | emr-5.21.2 | emr-5.21.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.519 | 1.11.510 | 1.11.479 | 1.11.479 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.7.1 | 1.7.1 | 1.7.0 | 1.7.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.9 | 1.4.9 | 1.4.8 | 1.4.8 |
| HCatalog | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hadoop | 2.8.5-amzn-3 | 2.8.5-amzn-2 | 2.8.5-amzn-1 | 2.8.5-amzn-1 |
| Hive | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.1- -1,4 HBase | 4.14.1- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.215 | 0.215 | 0.215 | 0.215 |
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## Notas da versão 5.23.0
As notas da versão a seguir incluem informações para a versão 5.23.0 do Amazon EMR. As alterações são referentes à versão 5.22.0.
Data da versão inicial: 1.º de abril de 2019
Data da última atualização: 30 de abril de 2019
**Atualizações**
+ AWS SDK para Java 1.11.519
**Novos recursos**
+ (30 de abril de 2019) Com o Amazon EMR 5.23.0 e versões posteriores, você pode iniciar um cluster com três nós principais para oferecer suporte à alta disponibilidade de aplicativos como YARN Resource Manager, HDFS, Spark, Hive e NameNode Ganglia. O nó primário não é mais um possível ponto de falha único com esse recurso. Se um dos nós primários apresenta falha, o Amazon EMR executa failover automaticamente para um nó primário em espera e substitui o nó primário com falha por um novo com as mesmas ações de configuração e bootstrap. Para obter mais informações, consulte [Plan and Configure Primary Nodes](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha.html).
**Problemas conhecidos**
+ Interface do usuário do Tez (corrigida na versão 5.26.0 do Amazon EMR)
A interface do usuário do Tez não funciona em um cluster do EMR com vários nós primários.
+ Hue (corrigido na versão 5.24.0 do Amazon EMR)
+ O Hue executado no Amazon EMR não é compatível com o Solr. Desde a versão 5.20.0 do Amazon EMR, um problema de configuração incorreta faz com que o Solr seja habilitado e uma mensagem de erro inofensiva semelhante à seguinte seja exibida:
`Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))`
**Para evitar que a mensagem de erro do Solr seja exibida:**
1. Conecte-se à linha de comando do nó primário usando SSH.
1. Use um editor de texto para abrir o arquivo `hue.ini`. Por exemplo:
`sudo vim /etc/hue/conf/hue.ini`
1. Pesquise o termo `appblacklist` e modifique a linha para o seguinte:
```
appblacklist = search
```
1. Salve as alterações e reinicie o Hue, conforme mostrado no exemplo a seguir:
```
sudo stop hue; sudo start hue
```
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.23.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.8.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.7.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.11.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.2.0 | EMR S3Select Connector |
| emrfs | 2.32.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.7.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-3 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-3 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-3 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 2.8.5-amzn-3 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 2.8.5-amzn-3 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-3 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-3 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-3 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.9 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.9 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.9 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.9 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.9 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.4-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.4-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.4-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.4-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.4-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.4-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.4-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.3.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.4 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.3.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.1- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.1- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.215 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.215 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.12.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.1 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.13 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.13 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.23.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.23.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.22.0 do Amazon EMR
## Versões 5.22.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.22.0 | emr-5.21.2 | emr-5.21.1 | emr-5.21.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.510 | 1.11.479 | 1.11.479 | 1.11.479 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.7.1 | 1.7.0 | 1.7.0 | 1.7.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.9 | 1.4.8 | 1.4.8 | 1.4.8 |
| HCatalog | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hadoop | 2.8.5-amzn-2 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 |
| Hive | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.1- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.215 | 0.215 | 0.215 | 0.215 |
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## Notas da versão 5.22.0
As notas da versão a seguir incluem informações para a versão 5.22.0 do Amazon EMR. As alterações são referentes à versão 5.21.0.
**Importante**
A partir da versão 5.22.0 do Amazon EMR, o Amazon EMR AWS usa o Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. As versões anteriores do Amazon EMR usam o AWS Signature versão 2 em alguns casos, a menos que as notas de lançamento indiquem que o Signature versão 4 é usado exclusivamente. Para obter mais informações, consulte [Autenticação de solicitações (AWS assinatura versão 4)](https://docs.aws.amazon.com/AmazonS3/latest/API/sig-v4-authenticating-requests.html) e [Solicitações de autenticação (AWS assinatura versão 2) no Guia](https://docs.aws.amazon.com/AmazonS3/latest/API/auth-request-sig-v2.html) do *desenvolvedor do Amazon Simple Storage Service*.
Data da versão inicial: 20 de março de 2019
**Atualizações**
+ Flink 1.7.1
+ HBase 1.4.9
+ Oozie 5.1.0
+ Phoenix 4.14.1
+ Zeppelin 0.8.1
+ Conectores e drivers:
+ Conector do DynamoDB 4.8.0
+ Conector do MariaDB 2.2.6
+ Driver JDBC do Amazon Redshift, 1.2.20.1043
**Novos recursos**
+ Modificada a configuração padrão do EBS para tipos de instância do EC2 com armazenamento somente do EBS. Ao ser criado um cluster usando as versões 5.22.0 e posteriores do Amazon EMR, a quantidade padrão de armazenamento do EBS aumenta de acordo com o tamanho da instância. Além disso, dividimos o armazenamento aumentado em vários volumes, proporcionando maior performance de IOPS. Se você quiser usar uma instância de configuração de armazenamento EBS diferente, você poderá especificá-la ao criar um cluster do EMR ou adicionar nós a um cluster existente. Para obter mais informações sobre a quantidade de armazenamento e o número de volumes alocados por padrão para cada tipo de instância, consulte [Armazenamento padrão do EBS para instâncias](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-storage.html#emr-plan-storage-ebs-storage-default) no *Guia de gerenciamento do Amazon EMR*.
**Alterações, melhorias e problemas resolvidos**
+ Spark
+ Introduzida uma nova propriedade de configuração para o Spark no YARN, `spark.yarn.executor.memoryOverheadFactor`. O valor dessa propriedade é um fator de escala que define o valor da sobrecarga de memória como uma porcentagem da memória do executor, com um mínimo de 384 MB. Se a sobrecarga de memória for definida explicitamente usando `spark.yarn.executor.memoryOverhead`, essa propriedade não terá efeito. O valor padrão é `0.1875`, representando 18,75%. Esse padrão para o Amazon EMR deixa mais espaço nos contêineres do YARN para a sobrecarga de memória do executor do que o padrão de 10% definido internamente pelo Spark. O padrão do Amazon EMR de 18,75% mostrou empiricamente menos falhas relacionadas à memória nas avaliações comparativas do TPC-DS.
+ Backport do [SPARK-26316](https://issues.apache.org/jira/browse/SPARK-26316) para melhorar a performance.
+ Nas versões 5.19.0, 5.20.0 e 5.21.0 do Amazon EMR, os rótulos dos nós do YARN são armazenados em um diretório do HDFS. Em algumas situações, isso leva a atrasos na inicialização do nó central causando, em seguida, tempo limite do cluster e falha na inicialização. Desde a versão 5.22.0 do Amazon EMR, esse problema foi resolvido. Os rótulos dos nós do YARN são armazenados no disco local de cada nó do cluster, evitando dependências no HDFS.
**Problemas conhecidos**
+ Hue (corrigido na versão 5.24.0 do Amazon EMR)
+ O Hue executado no Amazon EMR não é compatível com o Solr. Desde a versão 5.20.0 do Amazon EMR, um problema de configuração incorreta faz com que o Solr seja habilitado e uma mensagem de erro inofensiva semelhante à seguinte seja exibida:
`Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))`
**Para evitar que a mensagem de erro do Solr seja exibida:**
1. Conecte-se à linha de comando do nó primário usando SSH.
1. Use um editor de texto para abrir o arquivo `hue.ini`. Por exemplo:
`sudo vim /etc/hue/conf/hue.ini`
1. Pesquise o termo `appblacklist` e modifique a linha para o seguinte:
```
appblacklist = search
```
1. Salve as alterações e reinicie o Hue, conforme mostrado no exemplo a seguir:
```
sudo stop hue; sudo start hue
```
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.22.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.8.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.6.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.11.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.2.0 | EMR S3Select Connector |
| emrfs | 2.31.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.7.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-2 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.5-amzn-2 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.9 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.9 | Serviço para atender uma ou mais HBase regiões. |
| hbase-client | 1.4.9 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.9 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.9 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.4-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.4-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.4-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.4-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.4-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.4-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.4-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.3.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.4 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.3.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.1- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.1- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.215 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.215 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.12.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.1 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.13 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.13 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.22.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.22.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.21.2 do Amazon EMR
## Versões 5.21.2 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.21.2 | emr-5.21.1 | emr-5.21.0 | emr-5.20.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.479 | 1.11.479 | 1.11.479 | 1.11.461 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.8 |
| HCatalog | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 |
| Hive | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.215 | 0.215 | 0.215 | 0.214 |
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## Notas da versão 5.21.2
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.21.2
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.7.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.5.1 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.11.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.2.0 | EMR S3Select Connector |
| emrfs | 2.30.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.7.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.5-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.8 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.8 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.8 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.8 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.8 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.4-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.4-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.4-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.4-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.4-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.4-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.4-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.3.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.4 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.3.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.215 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.215 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.12.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.1 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.13 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.13 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.21.2
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.21.2**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.21.1 do Amazon EMR
## Versões 5.21.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.21.1 | emr-5.21.0 | emr-5.20.1 | emr-5.20.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.479 | 1.11.479 | 1.11.461 | 1.11.461 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.7.0 | 1.7.0 | 1.6.2 | 1.6.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.8 |
| HCatalog | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 |
| Hive | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.215 | 0.215 | 0.214 | 0.214 |
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## Notas da versão 5.21.1
As notas da versão a seguir incluem informações para a versão 5.21.1 do Amazon EMR. As alterações são referentes à versão 5.21.0.
Data da versão inicial: 18 de julho de 2019
**Alterações, melhorias e problemas resolvidos**
+ Atualizada a AMI padrão do Amazon Linux para Amazon EMR para incluir atualizações de segurança importantes do kernel Linux, incluindo o problema de negação de serviço do TCP SACK ([AWS-2019-005](https://aws.amazon.com/security/security-bulletins/AWS-2019-005/)).
**Problemas conhecidos**
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.21.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.7.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.5.1 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.11.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.2.0 | EMR S3Select Connector |
| emrfs | 2.30.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.7.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.5-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.8 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.8 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.8 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.8 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.8 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.4-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.4-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.4-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.4-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.4-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.4-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.4-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.3.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.4 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.3.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.215 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.215 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.12.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.1 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.13 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.13 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.21.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.21.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.21.0 do Amazon EMR
## Versões 5.21.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.21.0 | emr-5.20.1 | emr-5.20.0 | emr-5.19.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.479 | 1.11.461 | 1.11.461 | 1.11.433 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.4 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.7.0 | 1.6.2 | 1.6.2 | 1.6.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.7 |
| HCatalog | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-2 |
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-0 |
| Hive | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.215 | 0.214 | 0.214 | 0.212 |
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.3.2 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.11.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## Notas da versão 5.21.0
As notas da versão a seguir incluem informações para a versão 5.21.0 do Amazon EMR. As alterações são referentes à versão 5.20.0.
Data da versão inicial: 18 de fevereiro de 2019
Data da última atualização: 3 de abril de 2019
**Atualizações**
+ Flink 1.7.0
+ Presto 0.215
+ AWS SDK para Java 1.11.479
**Novos recursos**
+ (3 de abril de 2019) Com as versões 5.21.0 e posteriores do Amazon EMR, você pode substituir as configurações de cluster e especificar classificações de configuração adicionais para cada grupo de instâncias em um cluster em execução. Você faz isso usando o console do Amazon EMR, o AWS Command Line Interface (AWS CLI) ou o AWS SDK. Para obter mais informações, consulte [Supplying a Configuration for an Instance Group in a Running Cluster](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html).
**Alterações, melhorias e problemas resolvidos**
+ Zeppelin
+ Backport do [ZEPPELIN-3878](https://issues.apache.org/jira/browse/ZEPPELIN-3878).
**Problemas conhecidos**
+ Hue (corrigido na versão 5.24.0 do Amazon EMR)
+ O Hue executado no Amazon EMR não é compatível com o Solr. Desde a versão 5.20.0 do Amazon EMR, um problema de configuração incorreta faz com que o Solr seja habilitado e uma mensagem de erro inofensiva semelhante à seguinte seja exibida:
`Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))`
**Para evitar que a mensagem de erro do Solr seja exibida:**
1. Conecte-se à linha de comando do nó primário usando SSH.
1. Use um editor de texto para abrir o arquivo `hue.ini`. Por exemplo:
`sudo vim /etc/hue/conf/hue.ini`
1. Pesquise o termo `appblacklist` e modifique a linha para o seguinte:
```
appblacklist = search
```
1. Salve as alterações e reinicie o Hue, conforme mostrado no exemplo a seguir:
```
sudo stop hue; sudo start hue
```
+ Tez
+ Esse problema foi corrigido no Amazon EMR 5.22.0.
Quando você se conecta à interface do usuário do Tez em http: //:8080/tez-ui *MasterDNS* por meio de uma conexão SSH com o nó primário do cluster, aparece o erro “Falha na operação do adaptador - o servidor Timeline (ATS) está fora de alcance. Ele está inoperante ou o CORS não está habilitado” ou as tarefas mostram, inesperadamente, N/A.
Isso é causado pela interface do usuário do Tez ao fazer solicitações ao servidor de linha do tempo do YARN usando `localhost` em vez do nome do host do nó primário. Como solução alternativa, um script está disponível para execução como ação ou etapa de bootstrap. O script atualiza o nome do host no arquivo `configs.env` do Tez. Para obter mais informações e a localização do script, consulte [Instruções de bootstrap](http://awssupportdatasvcs.com/bootstrap-actions/fix_tez_ui_0-9-1/).
+ Nas versões 5.19.0, 5.20.0 e 5.21.0 do Amazon EMR, os rótulos dos nós do YARN são armazenados em um diretório do HDFS. Em algumas situações, isso leva a atrasos na inicialização do nó central causando, em seguida, tempo limite do cluster e falha na inicialização. Desde a versão 5.22.0 do Amazon EMR, esse problema foi resolvido. Os rótulos dos nós do YARN são armazenados no disco local de cada nó do cluster, evitando dependências no HDFS.
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.21.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.7.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.5.1 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.11.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.2.0 | EMR S3Select Connector |
| emrfs | 2.30.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.7.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.5-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.8 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.8 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.8 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.8 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.8 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.4-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.4-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.4-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.4-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.4-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.4-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.4-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.3.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.4 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.3.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.215 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.215 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.12.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.1 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.13 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.13 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.21.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.21.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.20.1 do Amazon EMR
## Versões 5.20.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.20.1 | emr-5.20.0 | emr-5.19.1 | emr-5.19.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.461 | 1.11.461 | 1.11.433 | 1.11.433 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.12 | 2.11.12 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.6.2 | 1.6.2 | 1.6.1 | 1.6.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.8 | 1.4.8 | 1.4.7 | 1.4.7 |
| HCatalog | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-2 | 2.3.3-amzn-2 |
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-0 | 2.8.5-amzn-0 |
| Hive | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.214 | 0.214 | 0.212 | 0.212 |
| Spark | 2.4.0 | 2.4.0 | 2.3.2 | 2.3.2 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.11.0 | 1.11.0 |
| Tez | 0.9.1 | 0.9.1 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## Notas da versão 5.20.1
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.20.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.7.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.5.1 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.2.0 | EMR S3Select Connector |
| emrfs | 2.29.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.6.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.5-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.8 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.8 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.8 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.8 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.8 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.4-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.4-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.4-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.4-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.4-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.4-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.4-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.3.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.4 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.3.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.214 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.214 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.12.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.1 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.13 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.13 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.20.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.20.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.20.0 do Amazon EMR
## Versões 5.20.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.20.0 | emr-5.19.1 | emr-5.19.0 | emr-5.18.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.461 | 1.11.433 | 1.11.433 | 1.11.393 |
| Python | 2.7, 3.6 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.12 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.6.2 | 1.6.1 | 1.6.1 | 1.6.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.8 | 1.4.7 | 1.4.7 | 1.4.7 |
| HCatalog | 2.3.4-amzn-0 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 |
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-0 | 2.8.5-amzn-0 | 2.8.4-amzn-1 |
| Hive | 2.3.4-amzn-0 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.214 | 0.212 | 0.212 | 0.210 |
| Spark | 2.4.0 | 2.3.2 | 2.3.2 | 2.3.2 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.11.0 | 1.11.0 | 1.9.0 |
| Tez | 0.9.1 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.12 |
## Notas da versão 5.20.0
As notas da versão a seguir incluem informações para a versão 5.20.0 do Amazon EMR. As alterações são referentes à versão 5.19.0.
Data da versão inicial: 18 de dezembro de 2018
Data da última atualização: 22 de janeiro de 2019
**Atualizações**
+ Flink 1.6.2
+ HBase 1.4.8
+ Hive 2.3.4
+ Hue 4.3.0
+ MXNet 1.3.1
+ Presto 0.214
+ Spark 2.4.0
+ TensorFlow 1.12.0
+ Tez 0.9.1
+ AWS SDK para Java 1.11.461
**Novos recursos**
+ (22 de janeiro de 2019) O Kerberos no Amazon EMR foi aprimorado para oferecer suporte à autenticação de entidades principais de um KDC externo. Isso centraliza o gerenciamento de principais porque vários clusters podem compartilhar um único KDC externo. Além disso, o KDC externo pode ter uma relação de confiança entre realm com um domínio do Active Directory. Isso permite que todos os clusters autentiquem principais do Active Directory. Para obter mais informações, consulte [Usar autenticação Kerberos](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-kerberos.html) no *Guia de gerenciamento do Amazon EMR*.
**Alterações, melhorias e problemas resolvidos**
+ AMI padrão do Amazon Linux para Amazon EMR
+ O pacote Python3 foi atualizado do python 3.4 para 3.6.
+ O confirmador otimizado para EMRFS S3
+ O confirmador otimizado para EMRFS S3 agora está habilitado por padrão, o que melhora a performance de gravação. Para obter mais informações, consulte [Usar o confirmador otimizado para EMRFS S3](emr-spark-s3-optimized-committer.md).
+ Hive
+ Backport do [HIVE-16686](https://issues.apache.org/jira/browse/HIVE-16686).
+ Glue com Spark e Hive
+ No EMR 5.20.0 ou posterior, a remoção paralela de partições é ativada automaticamente para Spark e Hive quando o AWS Glue Data Catalog é usado como metastore. Essa alteração reduz significativamente o tempo de planejamento de consultas ao executar várias solicitações em paralelo para recuperar partições. O número total de segmentos que podem ser executados simultaneamente varia entre 1 e 10. O valor padrão é 5, que é uma configuração recomendada. Você pode alterá-lo especificando a propriedade `aws.glue.partition.num.segments` na classificação de configuração `hive-site`. Se ocorrer controle de utilização, você poderá desativar o atributo alterando o valor para 1. Para obter mais informações, consulte a [Estrutura de segmentos do AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-catalog-partitions.html#aws-glue-api-catalog-partitions-Segment).
**Problemas conhecidos**
+ Hue (corrigido na versão 5.24.0 do Amazon EMR)
+ O Hue executado no Amazon EMR não é compatível com o Solr. Desde a versão 5.20.0 do Amazon EMR, um problema de configuração incorreta faz com que o Solr seja habilitado e uma mensagem de erro inofensiva semelhante à seguinte seja exibida:
`Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))`
**Para evitar que a mensagem de erro do Solr seja exibida:**
1. Conecte-se à linha de comando do nó primário usando SSH.
1. Use um editor de texto para abrir o arquivo `hue.ini`. Por exemplo:
`sudo vim /etc/hue/conf/hue.ini`
1. Pesquise o termo `appblacklist` e modifique a linha para o seguinte:
```
appblacklist = search
```
1. Salve as alterações e reinicie o Hue, conforme mostrado no exemplo a seguir:
```
sudo stop hue; sudo start hue
```
+ Tez
+ Esse problema foi corrigido no Amazon EMR 5.22.0.
Quando você se conecta à interface do usuário do Tez em http: //:8080/tez-ui *MasterDNS* por meio de uma conexão SSH com o nó primário do cluster, aparece o erro “Falha na operação do adaptador - o servidor Timeline (ATS) está fora de alcance. Ele está inoperante ou o CORS não está habilitado” ou as tarefas mostram, inesperadamente, N/A.
Isso é causado pela interface do usuário do Tez ao fazer solicitações ao servidor de linha do tempo do YARN usando `localhost` em vez do nome do host do nó primário. Como solução alternativa, um script está disponível para execução como ação ou etapa de bootstrap. O script atualiza o nome do host no arquivo `configs.env` do Tez. Para obter mais informações e a localização do script, consulte [Instruções de bootstrap](http://awssupportdatasvcs.com/bootstrap-actions/fix_tez_ui_0-9-1/).
+ Nas versões 5.19.0, 5.20.0 e 5.21.0 do Amazon EMR, os rótulos dos nós do YARN são armazenados em um diretório do HDFS. Em algumas situações, isso leva a atrasos na inicialização do nó central causando, em seguida, tempo limite do cluster e falha na inicialização. Desde a versão 5.22.0 do Amazon EMR, esse problema foi resolvido. Os rótulos dos nós do YARN são armazenados no disco local de cada nó do cluster, evitando dependências no HDFS.
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos
Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas.
Solução:
+ SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
+ Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`.
```
kinit -kt
```
Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/@`.
**nota**
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
## Versões de componente 5.20.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.7.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.5.1 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.2.0 | EMR S3Select Connector |
| emrfs | 2.29.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.6.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.5-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.8 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.8 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.8 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.8 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.8 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.4-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.4-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.4-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.4-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.4-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.4-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.4-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.3.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.4 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.3.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.214 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.214 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.4.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.4.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.4.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.4.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.12.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.9.1 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.13 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.13 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.20.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.20.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.19.1 do Amazon EMR
## Versões 5.19.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.19.1 | emr-5.19.0 | emr-5.18.1 | emr-5.18.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.433 | 1.11.433 | 1.11.393 | 1.11.393 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.6.1 | 1.6.1 | 1.6.0 | 1.6.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| HCatalog | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 |
| Hadoop | 2.8.5-amzn-0 | 2.8.5-amzn-0 | 2.8.4-amzn-1 | 2.8.4-amzn-1 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.0 | 1.3.0 | 1.2.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.212 | 0.212 | 0.210 | 0.210 |
| Spark | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.2 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.11.0 | 1.11.0 | 1.9.0 | 1.9.0 |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.12 | 3.4.12 |
## Notas da versão 5.19.1
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.19.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.7.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.5.1 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.1.0 | EMR S3Select Connector |
| emrfs | 2.28.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.6.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.5-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.7 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.7 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.7 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.7 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.7 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.3-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.3-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.3-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.3-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.3-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.3-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.3-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.2.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.4 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.3.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.212 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.212 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.11.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.13 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.13 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.19.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.19.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.19.0 do Amazon EMR
## Versões 5.19.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.19.0 | emr-5.18.1 | emr-5.18.0 | emr-5.17.2 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.433 | 1.11.393 | 1.11.393 | 1.11.336 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.6.1 | 1.6.0 | 1.6.0 | 1.5.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.6 |
| HCatalog | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-1 |
| Hadoop | 2.8.5-amzn-0 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.212 | 0.210 | 0.210 | 0.206 |
| Spark | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.11.0 | 1.9.0 | 1.9.0 | 1.9.0 |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.7.3 |
| ZooKeeper | 3.4.13 | 3.4.12 | 3.4.12 | 3.4.12 |
## Notas da versão 5.19.0
As notas da versão a seguir incluem informações para a versão 5.19.0 do Amazon EMR. As alterações são referentes à versão 5.18.0.
Data da versão inicial: 7 de novembro de 2018
Data da última atualização: 19 de novembro de 2018
**Atualizações**
+ Hadoop 2.8.5
+ Flink 1.6.1
+ JupyterHub 0.9.4
+ MXNet 1.3.0
+ Presto 0.212
+ TensorFlow 1.11.0
+ Zookeeper 3.4.13
+ AWS SDK para Java 1.11.433
**Novos recursos**
+ (19 de novembro de 2018) Os Cadernos do EMR constituem um ambiente gerenciado baseado no caderno Jupyter. Ele suporta os kernels mágicos do Spark para Spark PySpark SQL, Spark R e Scala. Os Cadernos do EMR podem ser usados com clusters criados usando as versões 5.18.0 e posteriores do Amazon EMR. Para obter mais informações, consulte [Usar Cadernos do EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks.html) no *Guia de gerenciamento do Amazon EMR*.
+ O confirmador otimizado para EMRFS S3 está disponível ao serem gravados arquivos Parquet usando Spark e EMRFS. Esse confirmador melhora a performance de gravação. Para obter mais informações, consulte [Usar o confirmador otimizado para EMRFS S3](emr-spark-s3-optimized-committer.md).
**Alterações, melhorias e problemas resolvidos**
+ YARN
+ Modificada a lógica que limita o processo mestre da aplicação à execução nos nós centrais. Essa funcionalidade agora usa o atributo e as propriedades de rótulos de nós do YARN nas classificações de configuração `yarn-site` e `capacity-scheduler`. Para saber mais, consulte [https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-instances-guidelines.html#emr-plan-spot-YARN.](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-instances-guidelines.html#emr-plan-spot-YARN.)
+ AMI padrão do Amazon Linux para Amazon EMR
+ `ruby18`, `php56`, e `gcc48` não são mais instalados por padrão. Eles podem ser instalados, se desejado, usando `yum`.
+ A gem do ruby aws-sdk não é mais instalada por padrão. Ela pode ser instalada usando `gem install aws-sdk`, se desejado. Componentes específicos também podem ser instalados. Por exemplo, .`gem install aws-sdk-s3`
**Problemas conhecidos**
+ **Cadernos do EMR**: em algumas circunstâncias, com vários editores de cadernos abertos, o editor de cadernos pode parecer incapaz de se conectar ao cluster. Se isso acontecer, limpe os cookies do navegador e reabra os editores de cadernos.
+ **CloudWatch ContainerPending Escalabilidade métrica e automática** — (corrigida na versão 5.20.0) O Amazon EMR pode emitir um valor negativo para. `ContainerPending` Se `ContainerPending` for usado em uma regra de escalabilidade automática, a escalabilidade automática não se comportará conforme esperado. Evite usar `ContainerPending` com escalabilidade automática.
+ Nas versões 5.19.0, 5.20.0 e 5.21.0 do Amazon EMR, os rótulos dos nós do YARN são armazenados em um diretório do HDFS. Em algumas situações, isso leva a atrasos na inicialização do nó central causando, em seguida, tempo limite do cluster e falha na inicialização. Desde a versão 5.22.0 do Amazon EMR, esse problema foi resolvido. Os rótulos dos nós do YARN são armazenados no disco local de cada nó do cluster, evitando dependências no HDFS.
## Versões de componente 5.19.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.7.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.5.1 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.1.0 | EMR S3Select Connector |
| emrfs | 2.28.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.6.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.5-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.5-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.5-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.5-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.5-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.5-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.5-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.5-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.5-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.7 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.7 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.7 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.7 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.7 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.3-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.3-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.3-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.3-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.3-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.3-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.3-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.2.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.9.4 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.3.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.212 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.212 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.11.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.13 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.13 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.19.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.19.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.18.1 do Amazon EMR
## Versões 5.18.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.18.1 | emr-5.18.0 | emr-5.17.2 | emr-5.17.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.393 | 1.11.393 | 1.11.336 | 1.11.336 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.6.0 | 1.6.0 | 1.5.2 | 1.5.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.7 | 1.4.7 | 1.4.6 | 1.4.6 |
| HCatalog | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.210 | 0.210 | 0.206 | 0.206 |
| Spark | 2.3.2 | 2.3.2 | 2.3.1 | 2.3.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 |
## Notas da versão 5.18.1
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.18.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.3 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.6.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.5.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.1.0 | EMR S3Select Connector |
| emrfs | 2.27.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.6.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.4-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.4-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.4-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.4-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.7 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.7 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.7 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.7 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.7 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.3-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.3-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.3-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.3-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.3-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.3-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.3-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.2.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.8.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.2.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.210 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.210 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.9.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.12 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.12 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.18.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.18.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.18.0 do Amazon EMR
## Versões 5.18.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.18.0 | emr-5.17.2 | emr-5.17.1 | emr-5.17.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.393 | 1.11.336 | 1.11.336 | 1.11.336 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.6.0 | 1.5.2 | 1.5.2 | 1.5.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.7 | 1.4.6 | 1.4.6 | 1.4.6 |
| HCatalog | 2.3.3-amzn-2 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.210 | 0.206 | 0.206 | 0.206 |
| Spark | 2.3.2 | 2.3.1 | 2.3.1 | 2.3.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 |
## Notas da versão 5.18.0
As notas da versão a seguir incluem informações para a versão 5.18.0 do Amazon EMR. As alterações são referentes à versão 5.17.0.
Data da versão inicial: 24 de outubro de 2018
**Atualizações**
+ Flink 1.6.0
+ HBase 1.4.7
+ Presto 0.210
+ Spark 2.3.2
+ Zeppelin 0.8.0
**Novos recursos**
+ Desde a versão 5.18.0 do Amazon EMR, você pode usar o repositório de artefatos do Amazon EMR para criar o código de trabalho em comparação com as versões exatas de bibliotecas e dependências disponíveis com versões específicas do Amazon EMR. Para obter mais informações, consulte [Verificar dependências usando o repositório de artefatos do Amazon EMR](emr-artifact-repository.md).
**Alterações, melhorias e problemas resolvidos**
+ Hive
+ Adicionado suporte para o S3 Select. Para obter mais informações, consulte [Usar o S3 Select com o Hive para melhorar a performance](emr-hive-s3select.md).
+ Presto
+ Adicionado suporte para o [S3 Select](https://aws.amazon.com/blogs/aws/s3-glacier-select/) Pushdown. Para obter mais informações, consulte [Usar S3 Select Pushdown com o Presto para melhorar a performance](emr-presto-s3select.md).
+ Spark
+ A configuração log4j padrão do Spark foi alterada para lançar logs de contêineres por hora para trabalhos de streaming do Spark. Isso ajuda a evitar a exclusão de lo de trabalhos de streaming do Spark de execução prolongada.
## Versões de componente 5.18.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.3 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.6.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.5.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.1.0 | EMR S3Select Connector |
| emrfs | 2.27.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.6.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.4-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.4-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.4-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.4-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.7 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.7 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.7 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.7 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.7 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.3-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.3-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.3-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.3-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.3-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.3-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.3-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.2.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.8.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.2.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.210 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.210 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.9.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.8.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.12 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.12 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.18.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.18.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.17.2 do Amazon EMR
## Versões 5.17.2 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.17.2 | emr-5.17.1 | emr-5.17.0 | emr-5.16.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.336 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.5.2 | 1.5.2 | 1.5.2 | 1.5.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.4 |
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-0 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.206 | 0.206 | 0.206 | 0.203 |
| Spark | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.9.0 | 1.9.0 | 1.9.0 | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 |
## Notas da versão 5.17.2
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.17.2
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.3 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.6.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.5.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.0.0 | EMR S3Select Connector |
| emrfs | 2.26.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.5.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.4-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.4-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.4-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.4-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.6 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.6 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.6 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.6 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.6 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.3-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.3-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.3-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.3-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.3-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.3-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.3-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.2.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.8.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.2.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.206 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.206 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.9.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.12 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.12 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.17.2
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.17.2**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.17.1 do Amazon EMR
## Versões 5.17.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.17.1 | emr-5.17.0 | emr-5.16.1 | emr-5.16.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.336 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.5.2 | 1.5.2 | 1.5.0 | 1.5.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.6 | 1.4.6 | 1.4.4 | 1.4.4 |
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-0 | 2.8.4-amzn-0 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.206 | 0.206 | 0.203 | 0.203 |
| Spark | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.9.0 | 1.9.0 | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 |
## Notas da versão 5.17.1
As notas da versão a seguir incluem informações para a versão 5.17.1 do Amazon EMR. As alterações são referentes à versão 5.17.0.
Data da versão inicial: 18 de julho de 2019
**Alterações, melhorias e problemas resolvidos**
+ Atualizada a AMI padrão do Amazon Linux para Amazon EMR para incluir atualizações de segurança importantes do kernel Linux, incluindo o problema de negação de serviço do TCP SACK ([AWS-2019-005](https://aws.amazon.com/security/security-bulletins/AWS-2019-005/)).
## Versões de componente 5.17.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.3 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.6.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.5.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.0.0 | EMR S3Select Connector |
| emrfs | 2.26.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.5.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.4-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.4-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.4-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.4-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.6 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.6 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.6 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.6 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.6 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.3-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.3-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.3-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.3-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.3-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.3-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.3-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.2.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.8.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.2.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.206 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.206 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.9.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.12 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.12 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.17.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.17.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.17.0 do Amazon EMR
## Versões 5.17.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.17.0 | emr-5.16.1 | emr-5.16.0 | emr-5.15.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.33 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.5.2 | 1.5.0 | 1.5.0 | 1.4.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.6 | 1.4.4 | 1.4.4 | 1.4.4 |
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 |
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-0 | 2.8.4-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.4.0-incubating |
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.1.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.13.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.206 | 0.203 | 0.203 | 0.194 |
| Spark | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.9.0 | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 |
## Notas da versão 5.17.0
As notas da versão a seguir incluem informações para a versão 5.17.0 do Amazon EMR. As alterações são referentes à versão 5.16.0.
Data da versão inicial: 30 de agosto de 2018
**Atualizações**
+ Flink 1.5.2
+ HBase 1.4.6
+ Presto 0.206
**Novos recursos**
+ Adicionado suporte para Tensorflow. Para obter mais informações, consulte [TensorFlow](emr-tensorflow.md).
**Alterações, melhorias e problemas resolvidos**
+ JupyterHub
+ Adicionado suporte para a persistência de cadernos no Amazon S3. Para obter mais informações, consulte [Configurar a persistência de cadernos no Amazon S3](emr-jupyterhub-s3.md).
+ Spark
+ Adicionado suporte para o [S3 Select](https://aws.amazon.com/blogs/aws/s3-glacier-select/). Para obter mais informações, consulte [Usar o S3 Select com Spark para melhorar a performance das consultas](emr-spark-s3select.md).
+ Resolvidos os problemas com as métricas do Cloudwatch e o atributo de escalabilidade automática nas versões 5.14.0, 5.15.0 ou 5.16.0 do Amazon EMR.
**Problemas conhecidos**
+ Quando você cria um cluster kerberizado com o Livy instalado, o Livy apresenta falha com um erro em que a autenticação simples não está habilitada. A reinicialização do servidor do Livy resolve o problema. Como solução alternativa, adicione uma etapa durante a criação do cluster que execute `sudo restart livy-server` no nó primário.
+ Se você usar uma AMI do Amazon Linux personalizada com base em uma AMI do Amazon Linux com data de criação 11/8/2018, o servidor Oozie falhará ao iniciar. Se você usar o Oozie, crie uma AMI personalizada com base em um ID de AMI do Amazon Linux com uma data de criação diferente. Você pode usar o AWS CLI comando a seguir para retornar uma lista de imagens IDs para todos os HVM Amazon Linux AMIs com uma versão 2018.03, junto com a data de lançamento, para que você possa escolher uma Amazon Linux AMI apropriada como sua base. MyRegion Substitua pelo seu identificador de região, como us-west-2.
```
aws ec2 --region MyRegion describe-images --owner amazon --query 'Images[?Name!=`null`]|[?starts_with(Name, `amzn-ami-hvm-2018.03`) == `true`].[CreationDate,ImageId,Name]' --output text | sort -rk1
```
## Versões de componente 5.17.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.3 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.6.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.5.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 1.0.0 | EMR S3Select Connector |
| emrfs | 2.26.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.5.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.4-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.4-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.4-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.4-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.6 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.6 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.6 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.6 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.6 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.3-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.3-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.3-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.3-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.3-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.3-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.3-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.2.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.8.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.2.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.206 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.206 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tensorflow | 1.9.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.12 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.12 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.17.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.17.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.16.1 do Amazon EMR
## Versões 5.16.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.16.1 | emr-5.16.0 | emr-5.15.1 | emr-5.15.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.336 | 1.11.336 | 1.11.33 | 1.11.33 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.5.0 | 1.5.0 | 1.4.2 | 1.4.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.4 | 1.4.4 | 1.4.4 | 1.4.4 |
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 |
| Hadoop | 2.8.4-amzn-0 | 2.8.4-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.2.0 | 1.2.0 | 1.1.0 | 1.1.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.14.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.203 | 0.203 | 0.194 | 0.194 |
| Spark | 2.3.1 | 2.3.1 | 2.3.0 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 |
## Notas da versão 5.16.1
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.16.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.6.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.25.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.5.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.4-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.4-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.4-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.4-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.4-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.4-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.4-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.4-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.4-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.4 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.4 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.4 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.4 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.4 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.3-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.3-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.3-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.3-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.3-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.3-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.3-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.2.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.8.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.2.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.203 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.203 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.12 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.12 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.16.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.16.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.16.0 do Amazon EMR
## Versões 5.16.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.16.0 | emr-5.15.1 | emr-5.15.0 | emr-5.14.2 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.336 | 1.11.33 | 1.11.33 | 1.11.297 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.5.0 | 1.4.2 | 1.4.2 | 1.4.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.4 | 1.4.4 | 1.4.4 | 1.4.2 |
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 |
| Hadoop | 2.8.4-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.2.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 4.3.0 |
| Phoenix | 4.14.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.203 | 0.194 | 0.194 | 0.194 |
| Spark | 2.3.1 | 2.3.0 | 2.3.0 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.10 |
## Notas da versão 5.16.0
As notas da versão a seguir incluem informações para a versão 5.16.0 do Amazon EMR. As alterações são referentes à versão 5.15.0.
Data da versão inicial: 19 de julho de 2018
**Atualizações**
+ Hadoop 2.8.4
+ Flink 1.5.0
+ Livy 0.5.0
+ MXNet 1.2.0
+ Phoenix 4.14.0
+ Presto 0.203
+ Spark 2.3.1
+ AWS SDK para Java 1.11.336
+ CUDA 9.2
+ Driver JDBC do Redshift, 1.2.15.1025
**Alterações, melhorias e problemas resolvidos**
+ HBase
+ Backport do [HBASE-20723](https://issues.apache.org/jira/browse/HBASE-20723)
+ Presto
+ Alterações na configuração para oferecer suporte à autenticação LDAP. Para obter mais informações, consulte [Usar autenticação LDAP para o Presto no Amazon EMR](emr-presto-ldap.md).
+ Spark
+ [[A versão 2.3.1 do Apache Spark, disponível desde a versão 5.16.0 do Amazon EMR, aborda CVE-2018-8024](https://nvd.nist.gov/vuln/detail/CVE-2018-1334) e CVE-2018-1334](https://nvd.nist.gov/vuln/detail/CVE-2018-8024). Recomendamos que você migre as versões anteriores do Spark para a versão 2.3.1 ou posteriores.
**Problemas conhecidos**
+ Essa versão não é compatível com os tipos de instância c1.medium ou m1.small. Os clusters que usam qualquer um desses tipos de instância não são iniciados. Como solução alternativa, especifique um tipo de instância diferente ou use uma versão diferente.
+ Quando você cria um cluster kerberizado com o Livy instalado, o Livy apresenta falha com um erro em que a autenticação simples não está habilitada. A reinicialização do servidor do Livy resolve o problema. Como solução alternativa, adicione uma etapa durante a criação do cluster que execute `sudo restart livy-server` no nó primário.
+ Depois que o nó primário for reinicializado ou o controlador de instância for reiniciado, as CloudWatch métricas não serão coletadas e o recurso de escalabilidade automática não estará disponível nas versões 5.14.0, 5.15.0 ou 5.16.0 do Amazon EMR. Esse problema foi corrigido na versão 5.17.0 do Amazon EMR.
## Versões de componente 5.16.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.6.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.25.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.5.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.4-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.4-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.4-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.4-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.4-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.4-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.4-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.4-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.4-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.4 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.4 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.4 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.4 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.4 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.3-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.3-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.3-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.3-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.3-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.3-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.3-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.2.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.8.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.5.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.2.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.14.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.14.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.203 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.203 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.12 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.12 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.16.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.16.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.15.1 do Amazon EMR
## Versões 5.15.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.15.1 | emr-5.15.0 | emr-5.14.2 | emr-5.14.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.33 | 1.11.33 | 1.11.297 | 1.11.297 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.4 | 1.4.4 | 1.4.2 | 1.4.2 |
| HCatalog | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.194 | 0.194 | 0.194 |
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.10 | 3.4.10 |
## Notas da versão 5.15.1
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.15.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.24.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.4.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.4 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.4 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.4 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.4 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.4 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.3-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.3-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.3-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.3-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.3-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.3-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.3-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.2.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.8.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.1.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.1.85 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.13.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.13.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.194 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.194 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.12 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.12 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.15.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.15.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.15.0 do Amazon EMR
## Versões 5.15.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.15.0 | emr-5.14.2 | emr-5.14.1 | emr-5.14.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.33 | 1.11.297 | 1.11.297 | 1.11.297 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.4 | 1.4.2 | 1.4.2 | 1.4.2 |
| HCatalog | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.194 | 0.194 | 0.194 |
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.15.0
As notas da versão a seguir incluem informações para a versão 5.15.0 do Amazon EMR. As alterações são referentes à versão 5.14.0.
Data da versão inicial: 21 de junho de 2018
**Atualizações**
+ Atualizado HBase para 1.4.4
+ Atualizado Hive para 2.3.3
+ Atualizado Hue para 4.2.0
+ Atualizado Oozie para 5.0.0
+ Atualizado Zookeeper para 3.4.12
+ AWS SDK atualizado para 1.11.333
**Alterações, melhorias e problemas resolvidos**
+ Hive
+ Backport do [HIVE-18069](https://issues.apache.org/jira/browse/HIVE-18069)
+ Hue
+ Atualizado o Hue para se autenticar corretamente com o Livy quando o Kerberos está habilitado. Agora, o Livy é compatível quando usa o Kerberos com o Amazon EMR.
+ JupyterHub
+ Atualizado JupyterHub para que o Amazon EMR instale bibliotecas de clientes LDAP por padrão.
+ Corrigido um erro no script que gera certificados autoassinados.
**Problemas conhecidos**
+ Essa versão não é compatível com os tipos de instância c1.medium ou m1.small. Os clusters que usam qualquer um desses tipos de instância não são iniciados. Como solução alternativa, especifique um tipo de instância diferente ou use uma versão diferente.
+ Depois que o nó primário for reinicializado ou o controlador de instância for reiniciado, as CloudWatch métricas não serão coletadas e o recurso de escalabilidade automática não estará disponível nas versões 5.14.0, 5.15.0 ou 5.16.0 do Amazon EMR. Esse problema foi corrigido na versão 5.17.0 do Amazon EMR.
## Versões de componente 5.15.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.24.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.4.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.4 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.4 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.4 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.4 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.4 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.3-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.3-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.3-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.3-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.3-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.3-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.3-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.2.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.8.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.1.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.1.85 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.0.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.0.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.13.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.13.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.194 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.194 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.12 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.12 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.15.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.15.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.14.2 do Amazon EMR
## Versões 5.14.2 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.14.2 | emr-5.14.1 | emr-5.14.0 | emr-5.13.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.297 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 |
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.194 | 0.194 | 0.194 |
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.14.2
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.14.2
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.23.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.4.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.2 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.2 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.2 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.2 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.2 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.1.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.8.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.1.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.1.85 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.13.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.13.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.194 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.194 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.14.2
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.14.2**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.14.1 do Amazon EMR
## Versões 5.14.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.14.1 | emr-5.14.0 | emr-5.13.1 | emr-5.13.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.297 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.2 | 1.4.2 | 1.4.0 | 1.4.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 |
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.194 | 0.194 | 0.194 |
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.14.1
As notas da versão a seguir incluem informações para a versão 5.14.1 do Amazon EMR. As alterações são referentes à versão 5.14.0.
Data da versão inicial: 17 de outubro de 2018
Atualizada a AMI padrão para Amazon EMR para abordar possíveis vulnerabilidades de segurança.
## Versões de componente 5.14.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.23.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.4.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.2 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.2 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.2 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.2 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.2 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.1.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.8.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.1.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.1.85 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.13.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.13.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.194 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.194 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.14.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.14.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.14.0 do Amazon EMR
## Versões 5.14.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.14.0 | emr-5.13.1 | emr-5.13.0 | emr-5.12.3 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.267 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.2 | 1.4.0 | 1.4.0 | 1.4.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.0 |
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.194 | 0.194 | 0.188 |
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.2.1 |
| Sqoop | 1.4.7 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.14.0
As notas da versão a seguir incluem informações para a versão 5.14.0 do Amazon EMR. As alterações são referentes à versão 5.13.0.
Data da versão inicial: 4 de junho de 2018
**Atualizações**
+ Atualizado Apache Flink para 1.4.2
+ Apache MXnet atualizado para 1.1.0
+ Atualizado Apache Sqoop para 1.4.7
**Novos recursos**
+ JupyterHub Suporte adicionado. Para obter mais informações, consulte [JupyterHub](emr-jupyterhub.md).
**Alterações, melhorias e problemas resolvidos**
+ EMRFS
+ A string userAgent nas solicitações ao Amazon S3 foi atualizada para conter as informações de usuário e grupo da entidade principal invocadora. Isso pode ser usado com AWS CloudTrail registros para um rastreamento de solicitações mais abrangente.
+ HBase
+ Incluído o [HBASE-20447](https://issues.apache.org/jira/browse/HBASE-20447), que aborda um problema que poderia causar falhas de cache, especialmente com regiões divididas.
+ MXnet
+ Adicionadas bibliotecas OpenCV.
+ Spark
+ Quando o Spark grava arquivos Parquet em um local do Amazon S3 usando o EMRFS, FileOutputCommitter o algoritmo foi atualizado para usar a versão 2 em vez da versão 1. Isso reduz o número de renomeações, o que melhora a performance da aplicação. Essa alteração não afeta:
+ Aplicações diferentes do Spark.
+ Aplicativos que gravam em outros sistemas de arquivos, como o HDFS (que ainda usa a versão 1 do FileOutputCommitter).
+ Aplicações que usam outros formatos de saída, como texto ou csv, que já usam a gravação direta do EMRFS.
**Problemas conhecidos**
+ JupyterHub
+ O uso de classificações de configuração para configurar JupyterHub notebooks Jupyter individuais ao criar um cluster não é suportado. Edite manualmente o arquivo jupyterhub\$1config.py e os arquivos jupyter\$1notebook\$1config.py para cada usuário. Para obter mais informações, consulte [Configurando JupyterHub](emr-jupyterhub-configure.md).
+ JupyterHub falha ao iniciar em clusters dentro de uma sub-rede privada, falhando com a mensagem. `Error: ENOENT: no such file or directory, open '/etc/jupyter/conf/server.crt' ` Isso é causado por um erro no script que gera certificados autoassinados. Use a solução alternativa a seguir para gerar certificados autoassinados. Todos os comandos são executados enquanto estão conectados ao nó primário.
1. Copie o script de geração de certificados do contêiner para o nó primário:
```
sudo docker cp jupyterhub:/tmp/gen_self_signed_cert.sh ./
```
1. Use um editor de texto para alterar a linha 23 e mudar o nome de host público para o nome deo host local, conforme mostrado abaixo:
```
local hostname=$(curl -s $EC2_METADATA_SERVICE_URI/local-hostname)
```
1. Execute o script para gerar certificados autoassinados:
```
sudo bash ./gen_self_signed_cert.sh
```
1. Mova os arquivos de certificado que o script gera para o diretório `/etc/jupyter/conf/`:
```
sudo mv /tmp/server.crt /tmp/server.key /etc/jupyter/conf/
```
Você pode acessar `tail` o `jupyter.log` arquivo para verificar se ele JupyterHub foi reiniciado e está retornando um código de resposta 200. Por exemplo:
```
tail -f /var/log/jupyter/jupyter.log
```
Essa ação deve retornar uma resposta semelhante à seguinte:
```
# [I 2018-06-14 18:56:51.356 JupyterHub app:1581] JupyterHub is now running at https://:9443/
# 19:01:51.359 - info: [ConfigProxy] 200 GET /api/routes
```
+ Depois que o nó primário for reinicializado ou o controlador de instância for reiniciado, as CloudWatch métricas não serão coletadas e o recurso de escalabilidade automática não estará disponível nas versões 5.14.0, 5.15.0 ou 5.16.0 do Amazon EMR. Esse problema foi corrigido na versão 5.17.0 do Amazon EMR.
## Versões de componente 5.14.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.23.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.4.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.2 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.2 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.2 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.2 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.2 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.1.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| jupyterhub | 0.8.1 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.1.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.1.85 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 4.13.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.13.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.194 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.194 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.14.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.14.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. |
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. |
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.13.1 do Amazon EMR
## Versões 5.13.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.13.1 | emr-5.13.0 | emr-5.12.3 | emr-5.12.2 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.297 | 1.11.297 | 1.11.267 | 1.11.267 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.2 | 1.4.2 | 1.4.0 | 1.4.0 |
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.194 | 0.188 | 0.188 |
| Spark | 2.3.0 | 2.3.0 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.13.1
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.13.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.22.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.4.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.3-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.3-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.3-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.3-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.2 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.2 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.2 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.2 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.2 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.1.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.0.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.1.85 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.13.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.13.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.194 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.194 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.13.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.13.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.13.0 do Amazon EMR
## Versões 5.13.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.13.0 | emr-5.12.3 | emr-5.12.2 | emr-5.12.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.297 | 1.11.267 | 1.11.267 | 1.11.267 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.2 | 1.4.0 | 1.4.0 | 1.4.0 |
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.188 | 0.188 | 0.188 |
| Spark | 2.3.0 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.13.0
As notas da versão a seguir incluem informações para a versão 5.13.0 do Amazon EMR. As alterações são referentes à versão 5.12.0.
**Atualizações**
+ Atualizado Spark para 2.3.0
+ Atualizado HBase para 1.4.2
+ Atualizado Presto para 0.194
+ Atualizado para AWS SDK para Java 1.11.297
**Alterações, melhorias e problemas resolvidos**
+ Hive
+ Backport do [HIVE-15436](https://issues.apache.org/jira/browse/HIVE-15436). Hive aprimorado APIs para retornar somente visualizações.
**Problemas conhecidos**
+ MXNet atualmente não tem bibliotecas OpenCV.
## Versões de componente 5.13.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.10.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.22.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.4.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.3-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.3-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.3-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.3-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.2 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.2 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.2 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.2 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.2 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-2 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-2 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.1.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.0.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.1.85 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.13.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.13.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.194 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.194 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 3.4.1 | O projeto R para computação estatística |
| spark-client | 2.3.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.3.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.3.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.3.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.13.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.13.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.12.3 do Amazon EMR
## Versões 5.12.3 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.12.3 | emr-5.12.2 | emr-5.12.1 | emr-5.12.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.267 | 1.11.267 | 1.11.267 | 1.11.267 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| HCatalog | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.188 | 0.188 | 0.188 | 0.188 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.12.3
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.12.3
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.9.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.21.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.4.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.3-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.3-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.3-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.3-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.0 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.0 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.0 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.0 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.1.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.0.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.1.85 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.13.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.13.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.188 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.188 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.12.3
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.12.3**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.12.2 do Amazon EMR
## Versões 5.12.2 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.12.2 | emr-5.12.1 | emr-5.12.0 | emr-5.11.4 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.267 | 1.11.267 | 1.11.267 | 1.11.238 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.1 |
| HCatalog | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.7.3-amzn-6 |
| Hive | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.0.0 | 1.0.0 | 1.0.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.188 | 0.188 | 0.188 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.12.2
As notas da versão a seguir incluem informações para a versão 5.12.2 do Amazon EMR. As alterações são referentes à versão 5.12.1.
Data da versão inicial: 29 de agosto de 2018
**Alterações, melhorias e problemas resolvidos**
+ Esta versão aborda uma possível vulnerabilidade de segurança.
## Versões de componente 5.12.2
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.9.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.21.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.4.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.3-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.3-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.3-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.3-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.0 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.0 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.0 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.0 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.1.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.0.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.1.85 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.13.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.13.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.188 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.188 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.12.2
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.12.2**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.12.1 do Amazon EMR
## Versões 5.12.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.12.1 | emr-5.12.0 | emr-5.11.4 | emr-5.11.3 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.267 | 1.11.267 | 1.11.238 | 1.11.238 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.4.0 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.0 | 1.4.0 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.7.3-amzn-6 | 2.7.3-amzn-6 |
| Hive | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.0.0 | 1.0.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0- -1,4 HBase | 4.13.0- -1,4 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.188 | 0.188 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.12.1
As notas da versão a seguir incluem informações para a versão 5.12.1 do Amazon EMR. As alterações são referentes à versão 5.12.0.
Data da versão inicial: 29 de março de 2018
**Alterações, melhorias e problemas resolvidos**
+ Atualizado o kernel do Amazon Linux da AMI padrão do Amazon Linux para Amazon EMR para abordar possíveis vulnerabilidades.
## Versões de componente 5.12.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.9.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.21.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.4.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.3-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.3-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.3-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.3-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.0 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.0 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.0 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.0 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.1.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.0.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.1.85 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.13.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.13.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.188 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.188 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.12.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.12.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.12.0 do Amazon EMR
## Versões da aplicação 5.12.0
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.12.0 | emr-5.11.4 | emr-5.11.3 | emr-5.11.2 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.267 | 1.11.238 | 1.11.238 | 1.11.238 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hadoop | 2.8.3-amzn-0 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 |
| Hive | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.0.0 | 0.12.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0- -1,4 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.188 | 0.187 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.12.0
As notas da versão a seguir incluem informações para a versão 5.12.0 do Amazon EMR. As alterações são referentes à versão 5.11.1.
**Atualizações**
+ AWS SDK para Java 1.11.238 ⇒ 1.11.267. Para obter mais informações, consulte o [AWS SDK for Java Change](https://github.com/aws/aws-sdk-java/blob/master/CHANGELOG.md) Log on GitHub.
+ Hadoop 2.7.3 ⇒ 2.8.3. Para obter mais informações, consulte [Versões do Apache Hadoop](http://hadoop.apache.org/releases.html).
+ Flink 1.3.2 ⇒ 1.4.0. Para obter mais informações, consulte o [Anúncio de versão do Apache Flink 1.4.0](https://flink.apache.org/news/2017/12/12/release-1.4.0.html).
+ HBase 1.3.1 ⇒ 1.4.0. Para obter mais informações, consulte o [anúncio HBase de lançamento](http://mail-archives.apache.org/mod_mbox/www-announce/201712.mbox/%3CCA+RK=_AU+tB=7SU1HRbeKVEd-sKA5WcJo3oa43vQ6PMB3L9pgQ@mail.gmail.com%3E).
+ Hue 4.0.1 ⇒ 4.1.0. Para obter mais informações, consulte as [Notas de versão](https://docs.gethue.com/releases/release-notes-4.10.0/).
+ MxNet 0,12,0 ⇒ 1,0,0. Para obter mais informações, consulte o [MXNet Change Log](https://github.com/apache/incubator-mxnet/releases/tag/1.0.0) on GitHub.
+ Presto 0.187 ⇒ 0.188. Para obter mais informações, consulte as [Notas de versão](https://prestodb.io/docs/current/release/release-0.188.html).
**Alterações, melhorias e problemas resolvidos**
+ **Hadoop**
+ A propriedade `yarn.resourcemanager.decommissioning.timeout` foi alterada para `yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs`. Você pode usar essa propriedade para personalizar a redução da escala do cluster verticalmente. Para obter mais informações, consulte [Redução da escala do cluster verticalmente](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scaledown-behavior.html) no *Guia de gerenciamento do Amazon EMR*.
+ A CLI do Hadoop adicionou a opção `-d` ao comando `cp` (copy), que especifica cópia direta. Você pode usar isso para evitar a criação de um arquivo `.COPYING` intermediário, o que torna mais rápida a cópia de dados entre o Amazon S3. Para obter mais informações, consulte [HADOOP-12384](https://issues.apache.org/jira/browse/HADOOP-12384).
+ **Pig**
+ Adicionada a classificação de configuração `pig-env`, que simplifica a configuração das propriedades do ambiente do Pig. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
+ **Presto**
+ Adicionada a classificação de configuração `presto-connector-redshift`, que pode ser usada para configurar os valores no arquivo de configuração `redshift.properties` do Presto. Para obter mais informações, consulte [Conector do Redshift](https://prestodb.io/docs/current/connector/redshift.html) na documentação do Presto e [Configurar aplicações](emr-configure-apps.md).
+ O suporte do Presto para EMRFS foi adicionado e é a configuração padrão. As versões anteriores do Amazon EMR usavam o PrestOS3FileSystem, que era a única opção. Para obter mais informações, consulte [Configuração do EMRFS e do PrestOS3 FileSystem](emr-presto-considerations.md#emr-presto-prestos3).
**nota**
Se você consultar dados subjacentes no Amazon S3 com a versão 5.12.0 do Amazon EMR, poderão ocorrer erros no Presto. Isso acontece porque o Presto não consegue obter valores de classificação de configuração em `emrfs-site.xml`. Como solução alternativa, crie um subdiretório `emrfs` em `usr/lib/presto/plugin/hive-hadoop2/` e crie um link simbólico em `usr/lib/presto/plugin/hive-hadoop2/emrfs` para o arquivo `/usr/share/aws/emr/emrfs/conf/emrfs-site.xml` existente. Em seguida, reinicie o processo presto-server (`sudo presto-server stop` seguido por `sudo presto-server start`).
+ **Spark**
+ [SPARK-22036 retroportado: a BigDecimal multiplicação](https://issues.apache.org/jira/browse/SPARK-22036) às vezes retorna nula.
**Problemas conhecidos**
+ MXNet não inclui bibliotecas OpenCV.
+ O SparkR não está disponível para clusters criados usando uma AMI personalizada porque R não é instalado por padrão nos nós do cluster.
## Versões de componente 5.12.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.9.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.21.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.4.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.3-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.8.3-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.8.3-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.8.3-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.4.0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.0 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.4.0 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.4.0 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.4.0 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.1.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.0.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.1.85 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.13.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.13.0- -1,4 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.188 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.188 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.12.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.12.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-env | Alterar os valores no ambiente do Pig. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.11.4 do Amazon EMR
## Versões 5.11.4 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.11.4 | emr-5.11.3 | emr-5.11.2 | emr-5.11.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.238 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 |
| Hive | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.187 | 0.187 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.11.4
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.11.4
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1,0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.8.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.20.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-6 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-6 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-6 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-6 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.0.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 0.12.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.0.176 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.187 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.187 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.11.4
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.11.4**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.11.3 do Amazon EMR
## Versões 5.11.3 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.11.3 | emr-5.11.2 | emr-5.11.1 | emr-5.11.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.238 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 |
| Hive | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.187 | 0.187 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.11.3
As notas da versão a seguir incluem informações para a versão 5.11.3 do Amazon EMR. As alterações são referentes à versão 5.11.2.
Data da versão inicial: 18 de julho de 2019
**Alterações, melhorias e problemas resolvidos**
+ Atualizada a AMI padrão do Amazon Linux para Amazon EMR para incluir atualizações de segurança importantes do kernel Linux, incluindo o problema de negação de serviço do TCP SACK ([AWS-2019-005](https://aws.amazon.com/security/security-bulletins/AWS-2019-005/)).
## Versões de componente 5.11.3
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1,0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.8.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.20.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-6 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-6 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-6 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-6 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.0.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 0.12.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.0.176 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.187 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.187 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.11.3
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.11.3**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.11.2 do Amazon EMR
## Versões 5.11.2 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.11.2 | emr-5.11.1 | emr-5.11.0 | emr-5.10.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.21 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 |
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-5 |
| Hive | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.187 | 0.187 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.11.2
As notas da versão a seguir incluem informações para a versão 5.11.2 do Amazon EMR. As alterações são referentes à versão 5.11.1.
Data da versão inicial: 29 de agosto de 2018
**Alterações, melhorias e problemas resolvidos**
+ Esta versão aborda uma possível vulnerabilidade de segurança.
## Versões de componente 5.11.2
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1,0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.8.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.20.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-6 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-6 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-6 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-6 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.0.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 0.12.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.0.176 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.187 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.187 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.11.2
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.11.2**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.11.1 do Amazon EMR
## Versões 5.11.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.11.1 | emr-5.11.0 | emr-5.10.1 | emr-5.10.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.238 | 1.11.238 | 1.11.21 | 1.11.21 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 |
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-5 | 2.7.3-amzn-5 |
| Hive | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.187 | 0.187 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.11.1
As notas da versão a seguir incluem informações para a versão 5.11.1 do Amazon EMR. As alterações são referentes à versão 5.8.0 do Amazon EMR.
Data da versão inicial: 22 de janeiro de 2018
**Alterações, melhorias e problemas resolvidos**
+ Atualizado o kernel do Amazon Linux da AMI padrão do Amazon Linux para Amazon EMR para abordar vulnerabilidades associadas à execução especulativa (CVE-2017-5715, CVE-2017-5753 e CVE-2017-5754). Para obter mais informações, consulte [https://aws.amazon.com/security/security-bulletins/AWS-2018-013/](https://aws.amazon.com/security/security-bulletins/AWS-2018-013/).
## Versões de componente 5.11.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1,0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.8.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.20.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-6 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-6 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-6 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-6 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.0.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 0.12.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.0.176 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.187 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.187 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.11.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.11.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.11.0 do Amazon EMR
## Versões 5.11.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.11.0 | emr-5.10.1 | emr-5.10.0 | emr-5.9.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.238 | 1.11.21 | 1.11.21 | 1.11.183 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 |
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-5 | 2.7.3-amzn-5 | 2.7.3-amzn-4 |
| Hive | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.187 | 0.187 | 0.187 | 0.184 |
| Spark | 2.2.1 | 2.2.0 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.11.0
As notas da versão a seguir incluem informações para a versão 5.11.0 do Amazon EMR. As alterações são referentes à versão 5.10.0.
**Atualizações**
+ Hive 2.3.2
+ Spark 2.2.1
+ SDK para Java 1.11.238
**Novos recursos**
+ Spark
+ Adicionada a configuração `spark.decommissioning.timeout.threshold`, que aprimora o comportamento de desativação do Spark ao serem usadas instâncias spot. Para obter mais informações, consulte [Configurar o comportamento de desativação de nós](emr-spark-configure.md#spark-decommissioning).
+ [Foi adicionado o `aws-sagemaker-spark-sdk` componente ao Spark, que instala o Amazon SageMaker Spark e as dependências associadas para a integração do Spark com a Amazon. SageMaker](https://aws.amazon.com/sagemaker/) Você pode usar o Amazon SageMaker Spark para criar pipelines de aprendizado de máquina (ML) do Spark usando os estágios da Amazon. SageMaker *Para obter mais informações, consulte o [SageMaker Spark Readme](https://github.com/aws/sagemaker-spark/blob/master/README.md) sobre GitHub e como [usar o Apache Spark com a Amazon SageMaker no Amazon Developer](https://docs.aws.amazon.com/sagemaker/latest/dg/apache-spark.html) Guide. SageMaker *
**Problemas conhecidos**
+ MXNet não inclui bibliotecas OpenCV.
+ Por padrão, o Hive 2.3.2 define `hive.compute.query.using.stats=true`. Isso faz com que as consultas obtenham dados de estatísticas existentes em vez de diretamente dos dados, o que pode gerar confusão. Por exemplo, se você tiver uma tabela com `hive.compute.query.using.stats=true` e fizer upload de novos arquivos para a tabela `LOCATION`, a execução de uma consulta `SELECT COUNT(*)` na tabela retornará a contagem das estatísticas, e não selecionará as linhas adicionadas.
Como alternativa, use o comando `ANALYZE TABLE` para reunir novas estatísticas ou defina `hive.compute.query.using.stats=false`. Para obter mais informações, consulte [Estatísticas no Hive](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-StatisticsinHive) na documentação do Apache Hive.
## Versões de componente 5.11.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1,0 | SDK do Amazon SageMaker Spark |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.8.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.20.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-6 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-6 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-6 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-6 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.2-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.2-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.0.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 0.12.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.0.176 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.187 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.187 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.11.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.11.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.10.1 do Amazon EMR
## Versões 5.10.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.10.1 | emr-5.10.0 | emr-5.9.1 | emr-5.9.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.21 | 1.11.21 | 1.11.183 | 1.11.183 |
| Python | 2.7, 3.4 | 2.7, 3.4 | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hadoop | 2.7.3-amzn-5 | 2.7.3-amzn-5 | 2.7.3-amzn-4 | 2.7.3-amzn-4 |
| Hive | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 0.12.0 | 0.12.0 | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.187 | 0.187 | 0.184 | 0.184 |
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.10.1
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.10.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.7.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.20.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-5 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-5 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-5 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-5 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-5 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-5 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-5 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-5 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-5 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-5 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.1-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.0.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 0.12.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.0.176 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.187 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.187 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.10.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.10.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.10.0 do Amazon EMR
## Versões 5.10.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.10.0 | emr-5.9.1 | emr-5.9.0 | emr-5.8.3 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.21 | 1.11.183 | 1.11.183 | 1.11.160 |
| Python | 2.7, 3.4 | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hadoop | 2.7.3-amzn-5 | 2.7.3-amzn-4 | 2.7.3-amzn-4 | 2.7.3-amzn-3 |
| Hive | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | - |
| MXNet | 0.12.0 | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.16.0-amzn-1 |
| Presto | 0.187 | 0.184 | 0.184 | 0.170 |
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.2 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.10.0
As notas da versão a seguir incluem informações para a versão 5.10.0 do Amazon EMR. As alterações são referentes à versão 5.9.0 do Amazon EMR.
**Atualizações**
+ AWS SDK para Java 1.11.21
+ Hive 2.3.1
+ Presto 0.187
**Novos recursos**
+ Adicionado o suporte para autenticação do Kerberos. Para obter mais informações, consulte [Usar autenticação Kerberos](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-kerberos.html) no *Guia de gerenciamento do Amazon EMR*.
+ Adicionado suporte para perfis do IAM para EMRFS. Para obter mais informações, consulte [Configure IAM Roles for EMRFS Requests to Amazon S3](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-emrfs-iam-role.html) no *Guia de gerenciamento do Amazon EMR*.
+ Suporte adicionado para tipos de instância P2 e P3 baseados em GPU. Para obter mais informações, consulte [Instâncias P2 do Amazon EC2](https://aws.amazon.com/ec2/instance-types/p2/) e [Instâncias P3 do Amazon EC2](https://aws.amazon.com/ec2/instance-types/p3/). Os drivers NVIDIA 384.81 e CUDA driver 9.0.176 são instalados nesses tipos de instância por padrão.
+ O suporte adicionado para [Apache MXNet](emr-mxnet.md).
**Alterações, melhorias e problemas resolvidos**
+ Presto
+ Foi adicionado suporte para usar o AWS Glue Data Catalog como metastore padrão do Hive. Para obter mais informações, consulte [Usando o Presto com o AWS Glue Data Catalog](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto.html#emr-presto-glue).
+ Suporte adicionado para [funções geoespaciais](https://prestodb.io/docs/current/functions/geospatial.html).
+ Suporte de [vazamento para disco](https://prestodb.io/docs/current/admin/spill.html) adicionado para uniões.
+ Suporte adicionado para o [Conector Redshift](https://prestodb.io/docs/current/connector/redshift.html).
+ Spark
+ Backport [SPARK-20640](https://issues.apache.org/jira/browse/SPARK-20640), que causa tempo limite rpc e as repetições de valores de registro configuráveis usando as propriedades `spark.shuffle.registration.timeout` e `spark.shuffle.registration.maxAttempts`.
+ [SPARK-21549](https://issues.apache.org/jira/browse/SPARK-21549) retroportado, que corrige um erro que ocorre ao gravar de forma personalizada em locais não HDFS. OutputFormat
+ Backport [Hadoop-13270](https://issues.apache.org/jira/browse/HADOOP-13270)
+ As bibliotecas Numpy, Scipy e Matplotlib foram removidas da AMI base do Amazon EMR. Se forem necessárias para o aplicativo, essas bibliotecas estarão disponíveis no repositório do aplicativo. Portanto, você pode usar uma ação de bootstrap para instalá-las em todos os nós usando `yum install`.
+ A AMI base do Amazon EMR não tem mais pacotes do RPM de aplicações incluídos, de maneira que os pacotes do RPM não estão mais presentes em nós de cluster. A AMI personalizada AMIs e a AMI básica do Amazon EMR agora fazem referência ao repositório de pacotes RPM no Amazon S3.
+ Devido à introdução de faturamento por segundo no Amazon EC2, o **Comportamento padrão da redução da escala verticalmente** agora é **Encerrar na conclusão da tarefa** em vez de **Encerrar no horário da instância**. Para obter mais informações, consulte [Configure Cluster Scale-Down (Configurar escalabilidade vertical do cluster)](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scaledown-behavior.html).
**Problemas conhecidos**
+ MXNet não inclui bibliotecas OpenCV.
+ Por padrão, o Hive 2.3.1 define `hive.compute.query.using.stats=true`. Isso faz com que as consultas obtenham dados de estatísticas existentes em vez de diretamente dos dados, o que pode gerar confusão. Por exemplo, se você tiver uma tabela com `hive.compute.query.using.stats=true` e fizer upload de novos arquivos para a tabela `LOCATION`, a execução de uma consulta `SELECT COUNT(*)` na tabela retornará a contagem das estatísticas, e não selecionará as linhas adicionadas.
Como alternativa, use o comando `ANALYZE TABLE` para reunir novas estatísticas ou defina `hive.compute.query.using.stats=false`. Para obter mais informações, consulte [Estatísticas no Hive](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-StatisticsinHive) na documentação do Apache Hive.
## Versões de componente 5.10.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.7.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.20.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-5 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-5 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-5 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-5 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-5 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-5 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-5 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-5 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-5 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-5 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.1-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.0.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 0.12.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| nvidia-cuda | 9.0.176 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.187 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.187 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.10.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.10.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.9.1 do Amazon EMR
## Versões 5.9.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.9.1 | emr-5.9.0 | emr-5.8.3 | emr-5.8.2 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.183 | 1.11.183 | 1.11.160 | 1.11.160 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.1 | 1.3.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hadoop | 2.7.3-amzn-4 | 2.7.3-amzn-4 | 2.7.3-amzn-3 | 2.7.3-amzn-3 |
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.17.0 | 0.17.0 | 0.16.0-amzn-1 | 0.16.0-amzn-1 |
| Presto | 0.184 | 0.184 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.9.1
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.9.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.4.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.7.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.19.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-4 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-4 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.0-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.0.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.184 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.184 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.9.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.9.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.9.0 do Amazon EMR
## Versões 5.9.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.9.0 | emr-5.8.3 | emr-5.8.2 | emr-5.8.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.183 | 1.11.160 | 1.11.160 | 1.11.160 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.1 | 1.3.1 | 1.3.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hadoop | 2.7.3-amzn-4 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 |
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.17.0 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 |
| Presto | 0.184 | 0.170 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.9.0
As notas da versão a seguir incluem informações para a versão 5.9.0 do Amazon EMR. As alterações são referentes à versão 5.8.0 do Amazon EMR.
Data do release: 5 de outubro de 2017
Última atualização de recursos: 12 de outubro de 2017
**Atualizações**
+ AWS SDK para Java versão 1.11.183
+ Flink 1.3.2
+ Hue 4.0.1
+ Pig 0.17.0
+ Presto 0.184
**Novos recursos**
+ Adição do suporte ao Livy (versão Livy 0.4.0 - em incubação). Para obter mais informações, consulte [Apache Livy](emr-livy.md).
+ Adição de suporte para Hue Notebook para Spark.
+ Adicionado suporte para instâncias série i3 do Amazon EC2 (12 de outubro de 2017).
**Alterações, melhorias e problemas resolvidos**
+ Spark
+ Adição de um novo conjunto de recursos que ajudam a garantir que o Spark lide de uma forma mais fácil com o encerramento de nós devido a um redimensionamento manual ou uma solicitação de política de escalabilidade automática. Para obter mais informações, consulte [Configurar o comportamento de desativação de nós](emr-spark-configure.md#spark-decommissioning).
+ O SSL é usado em vez do 3DES para criptografia em trânsito para o serviço de transferência de bloco, o que aumenta a performance durante o uso dos tipos de instância do Amazon EC2 com AES-NI.
+ [SPARK-21494](https://issues.apache.org/jira/browse/SPARK-21494) enviado para backport.
+ Zeppelin
+ [ZEPPELIN-2377](https://issues.apache.org/jira/browse/ZEPPELIN-2377) enviado para backport.
+ HBase
+ Foi adicionado o patch [HBASE-18533](https://issues.apache.org/jira/browse/HBASE-18533), que permite valores adicionais para HBase BucketCache configuração usando a classificação de configuração. `hbase-site`
+ Hue
+ Foi adicionado suporte ao AWS Glue Data Catalog para o editor de consultas Hive no Hue.
+ Por padrão, os superusuários do Hue podem acessar todos os arquivos que os perfis do IAM do Amazon EMR têm permissão para acessar. Os usuários recém-criados não têm automaticamente permissões para acessar o navegador de arquivos Amazon S3 e devem ter as permissões `filebrowser.s3_access` ativadas para o grupo deles.
+ Resolveu um problema que fazia com que os dados JSON subjacentes criados usando o AWS Glue Data Catalog ficassem inacessíveis.
**Problemas conhecidos**
+ A inicialização do cluster falha quando todas as aplicações são instaladas e o tamanho padrão do volume raiz do Amazon EBS não é alterado. Como solução alternativa, use o `aws emr create-cluster` comando do AWS CLI e especifique um `--ebs-root-volume-size` parâmetro maior.
+ Por padrão, o Hive 2.3.0 define `hive.compute.query.using.stats=true`. Isso faz com que as consultas obtenham dados de estatísticas existentes em vez de diretamente dos dados, o que pode gerar confusão. Por exemplo, se você tiver uma tabela com `hive.compute.query.using.stats=true` e fizer upload de novos arquivos para a tabela `LOCATION`, a execução de uma consulta `SELECT COUNT(*)` na tabela retornará a contagem das estatísticas, e não selecionará as linhas adicionadas.
Como alternativa, use o comando `ANALYZE TABLE` para reunir novas estatísticas ou defina `hive.compute.query.using.stats=false`. Para obter mais informações, consulte [Estatísticas no Hive](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-StatisticsinHive) na documentação do Apache Hive.
## Versões de componente 5.9.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.4.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.7.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.19.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-4 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-4 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.0-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.0.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | Interface REST para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.184 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.184 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.9.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.9.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
| livy-env | Alterar os valores no ambiente do Livy. |
| livy-log4j | Alterar as configurações de log4j.properties no Livy. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.8.3 do Amazon EMR
## Versões 5.8.3 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.8.3 | emr-5.8.2 | emr-5.8.1 | emr-5.8.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.160 | 1.11.160 | 1.11.160 | 1.11.160 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hadoop | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 |
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.8.3
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.8.3
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.4.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.6.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.18.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-3 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-3 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.0-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-1 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.8.3
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.8.3**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.8.2 do Amazon EMR
## Versões 5.8.2 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.8.2 | emr-5.8.1 | emr-5.8.0 | emr-5.7.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.160 | 1.11.160 | 1.11.160 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-2 |
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.1.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.8.2
As notas da versão a seguir incluem informações para a versão 5.8.2 do Amazon EMR. As alterações são referentes à versão 5.8.1.
Data da versão inicial: 29 de março de 2018
**Alterações, melhorias e problemas resolvidos**
+ Atualizado o kernel do Amazon Linux da AMI padrão do Amazon Linux para Amazon EMR para abordar possíveis vulnerabilidades.
## Versões de componente 5.8.2
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.4.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.6.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.18.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-3 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-3 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.0-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-1 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.8.2
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.8.2**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.8.1 do Amazon EMR
## Versões 5.8.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.8.1 | emr-5.8.0 | emr-5.7.1 | emr-5.7.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.160 | 1.11.160 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase |
| Pig | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.2.0 | 2.1.1 | 2.1.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.8.1
As notas da versão a seguir incluem informações para a versão 5.8.1 do Amazon EMR. As alterações são referentes à versão 5.8.0 do Amazon EMR.
Data da versão inicial: 22 de janeiro de 2018
**Alterações, melhorias e problemas resolvidos**
+ Atualizado o kernel do Amazon Linux da AMI padrão do Amazon Linux para Amazon EMR para abordar vulnerabilidades associadas à execução especulativa (CVE-2017-5715, CVE-2017-5753 e CVE-2017-5754). Para obter mais informações, consulte [https://aws.amazon.com/security/security-bulletins/AWS-2018-013/](https://aws.amazon.com/security/security-bulletins/AWS-2018-013/).
## Versões de componente 5.8.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.4.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.6.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.18.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-3 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-3 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.0-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-1 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.8.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.8.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.8.0 do Amazon EMR
## Versões 5.8.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.8.0 | emr-5.7.1 | emr-5.7.0 | emr-5.6.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.11.160 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 |
| HCatalog | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-3 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.9.0- -1.2 HBase |
| Pig | 0.16.0-amzn-1 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.1.1 | 2.1.1 | 2.1.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.8.0
As notas da versão a seguir incluem informações para a versão 5.8.0 do Amazon EMR. As alterações são referentes à versão 5.7.0 do Amazon EMR.
Data da versão inicial: 10 de agosto de 2017
Última atualização de recurso: 25 de setembro de 2017
**Atualizações**
+ AWS SDK 1.11.160
+ Flink 1.3.1
+ Hive 2.3.0. Para obter mais informações, consulte [Notas de release](https://issues.apache.org/jira/secure/ConfigureReleaseNote.jspa?projectId=12310843&version=12340269) no site do Apache Hive.
+ Spark 2.2.0. Para obter mais informações, consulte [Notas de release](https://spark.apache.org/releases/spark-release-2-2-0.html) no site do Apache Spark.
**Novos recursos**
+ Adição de suporte para visualização do histórico de aplicativos (25 de setembro de 2017). Para obter mais informações, consulte [Visualizar histórico de aplicações](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-cluster-application-history.html) no *Guia de gerenciamento do Amazon EMR*.
**Alterações, melhorias e problemas resolvidos**
+ **Integração com o AWS Glue Data Catalog**
+ Foi adicionada a capacidade do Hive e do Spark SQL de usar o AWS Glue Data Catalog como armazenamento de metadados do Hive. Para obter mais informações, consulte [Usando o AWS Glue Data Catalog como metastore para o Hive](emr-hive-metastore-glue.md) e [Use o catálogo do AWS Glue Data Catalog com o Spark no Amazon EMR](emr-spark-glue.md).
+ Adicionado o **Application history (Histórico do aplicativo)** aos detalhes do cluster, o que permite que você visualize dados históricos de aplicativos do YARN e detalhes adicionais de aplicativos do Spark. Para obter mais informações, consulte [Visualizar histórico de aplicações](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-cluster-application-history.html) no *Guia de gerenciamento do Amazon EMR*.
+ **Oozie**
+ [OOZIE-2748](https://issues.apache.org/jira/browse/OOZIE-2748) enviado para backport.
+ **Hue**
+ [HUE-5859](https://issues.cloudera.org/browse/HUE-5859) enviado para backport
+ **HBase**
+ Foi adicionado um patch para expor a hora de início do servidor HBase mestre por meio do Java Management Extensions (JMX) usando. `getMasterInitializedTime`
+ Adicionado um patch que melhora a hora de início do cluster.
**Problemas conhecidos**
+ A inicialização do cluster falha quando todas as aplicações são instaladas e o tamanho padrão do volume raiz do Amazon EBS não é alterado. Como solução alternativa, use o `aws emr create-cluster` comando do AWS CLI e especifique um `--ebs-root-volume-size` parâmetro maior.
+ Por padrão, o Hive 2.3.0 define `hive.compute.query.using.stats=true`. Isso faz com que as consultas obtenham dados de estatísticas existentes em vez de diretamente dos dados, o que pode gerar confusão. Por exemplo, se você tiver uma tabela com `hive.compute.query.using.stats=true` e fizer upload de novos arquivos para a tabela `LOCATION`, a execução de uma consulta `SELECT COUNT(*)` na tabela retornará a contagem das estatísticas, e não selecionará as linhas adicionadas.
Como alternativa, use o comando `ANALYZE TABLE` para reunir novas estatísticas ou defina `hive.compute.query.using.stats=false`. Para obter mais informações, consulte [Estatísticas no Hive](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-StatisticsinHive) na documentação do Apache Hive.
+ **Spark**: ao usar o Spark, há um problema de vazamento no manipulador de arquivos com o daemon apppusher, o que pode ocorrer para um trabalho de execução prolongada do Spark depois de várias horas ou dias. Para corrigir o problema, conecte-se ao nó primário e digite `sudo /etc/init.d/apppusher stop`. Isso interrompe o daemon apppusher, que o Amazon EMR reiniciará automaticamente.
+ **Application history**
+ Os dados históricos dos executores inativos do Spark não está disponível.
+ O histórico do aplicativo não está disponível para clusters que usam uma configuração de segurança para habilitar a criptografia em andamento.
## Versões de componente 5.8.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.4.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.6.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.18.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-3 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-3 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.3.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.0-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.3.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-1 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.2.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.8.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.8.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.7.1 do Amazon EMR
## Versões 5.7.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.7.1 | emr-5.7.0 | emr-5.6.1 | emr-5.6.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.0 | 1.3.0 | 1.2.1 | 1.2.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.11.0- -1.3 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.1.1 | 2.1.1 | 2.1.1 | 2.1.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.1 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.7.1
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.7.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.3.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.3.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.5.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.18.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-2 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-2 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.1.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.7.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.7.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.7.0 do Amazon EMR
## Versões 5.7.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.7.0 | emr-5.6.1 | emr-5.6.0 | emr-5.5.4 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.0 | 1.2.1 | 1.2.1 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0- -1.3 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.1.1 | 2.1.1 | 2.1.1 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.1 | 0.7.1 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.7.0
As notas da versão a seguir incluem informações para a versão 5.7.0 do Amazon EMR. As alterações são referentes à versão 5.6.0 do Amazon EMR.
Data do release: 13 de julho de 2017
**Atualizações**
+ Flink 1.3.0
+ Phoenix 4.11.0
+ Zeppelin 0.7.2
**Novos recursos**
+ Adicionada a capacidade de especificação de uma AMI do Amazon Linux personalizada ao ser criado um cluster. Para obter mais informações, consulte [Usando uma AMI personalizada](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html).
**Alterações, melhorias e problemas resolvidos**
+ **HBase**
+ Capacidade adicional para configurar clusters de HBase réplica de leitura. Consulte [Usando um cluster de réplica de leitura.](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-s3.html#emr-hbase-s3-read-replica)
+ Várias correções de erros e melhorias
+ **Presto**: adicionada a capacidade de configurar `node.properties`.
+ **YARN** :adicionada a capacidade de configurar `container-log4j.properties`
+ **Sqoop**: enviado para backport [SQOOP-2880](https://issues.apache.org/jira/browse/SQOOP-2880), que apresenta um argumento que permite definir o diretório temporário do Sqoop.
## Versões de componente 5.7.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.3.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.3.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.5.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.18.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-2 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-2 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.1.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.7.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.7.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.6.1 do Amazon EMR
## Versões 5.6.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.6.1 | emr-5.6.0 | emr-5.5.4 | emr-5.5.3 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.1 | 1.2.1 | 1.2.0 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.1.1 | 2.1.1 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.6.1
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.6.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.3.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.3.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.5.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.17.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.2.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-2 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-2 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.1.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.9.0- -1.2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.9.0- -1.2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.6.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.6.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.6.0 do Amazon EMR
## Versões 5.6.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.6.0 | emr-5.5.4 | emr-5.5.3 | emr-5.5.2 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.1 | 1.2.0 | 1.2.0 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.1.1 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.6.0
As notas da versão a seguir incluem informações para a versão 5.6.0 do Amazon EMR. As alterações são referentes à versão 5.5.0 do Amazon EMR.
Data do release: 5 de junho de 2017
**Atualizações**
+ Flink 1.2.1
+ HBase 1.3.1
+ Mahout 0.13.0. Esta é a primeira versão do Mahout compatível com o Spark 2.x nas versões 5.0 e posteriores do Amazon EMR.
+ Spark 2.1.1
**Alterações, melhorias e problemas resolvidos**
+ **Presto**
+ Foi adicionada a capacidade de permitir a comunicação SSL/TLS segura entre os nós do Presto, ativando a criptografia em trânsito usando uma configuração de segurança. Para obter mais informações, consulte [Criptografia de dados em trânsito](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-data-encryption-options.html#emr-encryption-intransit).
+ Enviado para backport o [Presto 7661](https://github.com/prestodb/presto/pull/7661/commits), o que adiciona a opção `VERBOSE` à instrução `EXPLAIN ANALYZE` para relatar estatísticas de baixo nível mais detalhadas sobre um plano de consulta.
## Versões de componente 5.6.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.3.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.3.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.5.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.17.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.2.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-2 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-2 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.1.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.9.0- -1.2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.9.0- -1.2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.6.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.6.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
| presto-node | Altere os valores no arquivo node.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.5.4 do Amazon EMR
## Versões 5.5.4 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.5.4 | emr-5.5.3 | emr-5.5.2 | emr-5.5.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.5.4
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.5.4
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.3.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.3.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.5.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.16.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.2.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-2 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-2 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.0 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.0 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.0 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.0 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.1.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.9.0- -1.2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.9.0- -1.2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.5.4
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.5.4**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.5.3 do Amazon EMR
## Versões 5.5.3 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.5.3 | emr-5.5.2 | emr-5.5.1 | emr-5.5.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## Notas da versão 5.5.3
As notas da versão a seguir incluem informações para a versão 5.5.3 do Amazon EMR. As alterações são referentes à versão 5.5.2.
Data da versão inicial: 29 de agosto de 2018
**Alterações, melhorias e problemas resolvidos**
+ Esta versão aborda uma possível vulnerabilidade de segurança.
## Versões de componente 5.5.3
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.3.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.3.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.5.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.16.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.2.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-2 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-2 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.0 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.0 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.0 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.0 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.1.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.9.0- -1.2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.9.0- -1.2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.5.3
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.5.3**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.5.2 do Amazon EMR
## Versões 5.5.2 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.5.2 | emr-5.5.1 | emr-5.5.0 | emr-5.4.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.11.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.166 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.0 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.9 |
## Notas da versão 5.5.2
As notas da versão a seguir incluem informações para a versão 5.5.2 do Amazon EMR. As alterações são referentes à versão 5.5.1.
Data da versão inicial: 29 de março de 2018
**Alterações, melhorias e problemas resolvidos**
+ Atualizado o kernel do Amazon Linux da AMI padrão do Amazon Linux para Amazon EMR para abordar possíveis vulnerabilidades.
## Versões de componente 5.5.2
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.3.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.3.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.5.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.16.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.2.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-2 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-2 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.0 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.0 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.0 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.0 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.1.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.9.0- -1.2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.9.0- -1.2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.5.2
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.5.2**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.5.1 do Amazon EMR
## Versões 5.5.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.5.1 | emr-5.5.0 | emr-5.4.1 | emr-5.4.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.11.0 | 3.11.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.166 | 0.166 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.0 | 0.7.0 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.9 | 3.4.9 |
## Notas da versão 5.5.1
As notas da versão a seguir incluem informações para a versão 5.5.1 do Amazon EMR. As alterações são referentes à versão 5.5.0 do Amazon EMR.
Data da versão inicial: 22 de janeiro de 2018
**Alterações, melhorias e problemas resolvidos**
+ Atualizado o kernel do Amazon Linux da AMI padrão do Amazon Linux para Amazon EMR para abordar vulnerabilidades associadas à execução especulativa (CVE-2017-5715, CVE-2017-5753 e CVE-2017-5754). Para obter mais informações, consulte [https://aws.amazon.com/security/security-bulletins/AWS-2018-013/](https://aws.amazon.com/security/security-bulletins/AWS-2018-013/).
## Versões de componente 5.5.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.3.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.3.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.5.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.16.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.2.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-2 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-2 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.0 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.0 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.0 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.0 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.1.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.9.0- -1.2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.9.0- -1.2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.5.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.5.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.5.0 do Amazon EMR
## Versões 5.5.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.5.0 | emr-5.4.1 | emr-5.4.0 | emr-5.3.2 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.1.4 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.2.3 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.11.0 | 3.11.0 | 3.11.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.166 | 0.166 | 0.157.1 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.0 | 0.7.0 | 0.6.2 |
| ZooKeeper | 3.4.10 | 3.4.9 | 3.4.9 | 3.4.9 |
## Notas da versão 5.5.0
As notas da versão a seguir incluem informações para a versão 5.5.0 do Amazon EMR. As alterações são referentes à versão 5.4.0 do Amazon EMR.
Data do release: 26 de abril de 2017
**Atualizações**
+ Hue 3.12
+ Presto 0.170
+ Zeppelin 0.7.1
+ ZooKeeper 3.4.10
**Alterações, melhorias e problemas resolvidos**
+ **Spark**
+ [Correção do Backported Spark Patch (SPARK-20115) DAGScheduler para recalcular todos os blocos de reprodução aleatória perdidos quando o serviço externo de reprodução aleatória não está disponível na versão 2.1.0 do Spark](https://issues.apache.org/jira/browse/SPARK-20115), incluída nesta versão.
+ **Flink**
+ O Flink agora é compilado com o Scala 2.11. Se você usar a API e as bibliotecas do Scala, recomendamos que use o Scala 2.11 em seus projetos.
+ Tratado um problema em que os padrões `HADOOP_CONF_DIR` e `YARN_CONF_DIR` não estavam definidos corretamente, portanto havia falha no funcionamento de `start-scala-shell.sh`. Também foi adicionada a possibilidade de definir esses valores usando `env.hadoop.conf.dir` e `env.yarn.conf.dir` em `/etc/flink/conf/flink-conf.yaml` ou na classificação de configuração `flink-conf`.
+ Introduzido um novo comando específico do EMR, `flink-scala-shell`, como um wrapper para `start-scala-shell.sh`. Recomendamos o uso desse comando, em vez de `start-scala-shell`. O novo comando simplifica a execução. Por exemplo, `flink-scala-shell -n 2` inicia um shell Scala Flink com um paralelismo de tarefa de 2.
+ Introduzido um novo comando específico do EMR, `flink-yarn-session`, como um wrapper para `yarn-session.sh`. Recomendamos o uso desse comando, em vez de `yarn-session`. O novo comando simplifica a execução. Por exemplo, `flink-yarn-session -d -n 2` inicia uma sessão de longa execução do Flink em um estado desanexado com dois gerenciadores de tarefas.
+ Tratado [(FLINK-6125) Commons httpclient is not shaded anymore in Flink 1.2](https://issues.apache.org/jira/browse/FLINK-6125).
+ **Presto**
+ Adicionado o suporte para autenticação do LDAP. Usar LDAP com o Presto no Amazon EMR requer que você habilite o acesso HTTPS para o coordenador do Presto (`http-server.https.enabled=true` em `config.properties`). Para obter detalhes da configuração, consulte [Autenticação LDAP](https://prestodb.io/docs/current/security/ldap.html) na documentação do Presto.
+ O suporte adicionado para `SHOW GRANTS`.
+ **AMI base do Linux do Amazon EMR**
+ As versões do Amazon EMR agora são baseadas no Amazon Linux 2017.03. Para obter mais informações, consulte [Notas da versão da AMI do Amazon Linux 2017.03](https://aws.amazon.com/amazon-linux-ami/2017.03-release-notes/).
+ Removido o Python 2.6 da imagem de base Linux do Amazon EMR. Python 2.7 e 3.4 estão instalados por padrão. Você pode instalar o Python 2.6 manualmente, se necessário.
## Versões de componente 5.5.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.3.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.3.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.5.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.16.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.2.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-2 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-2 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.0 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.0 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.0 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.0 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.1.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.9.0- -1.2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.9.0- -1.2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.5.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.5.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.4.1 do Amazon EMR
## Versões 5.4.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.4.1 | emr-5.4.0 | emr-5.3.2 | emr-5.3.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.2.0 | 1.1.4 | 1.1.4 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0- -1.2 HBase | 4.9.0- -1.2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.166 | 0.166 | 0.157.1 | 0.157.1 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.0 | 0.7.0 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 |
## Notas da versão 5.4.1
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.4.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.2.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.15.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.2.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.0 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.0 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.0 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.0 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.1.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.11.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.9.0- -1.2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.9.0- -1.2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.166 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.166 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.9 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.9 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.4.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.4.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.4.0 do Amazon EMR
## Versões 5.4.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.4.0 | emr-5.3.2 | emr-5.3.1 | emr-5.3.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.1.4 | 1.1.4 | 1.1.4 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0- -1.2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.166 | 0.157.1 | 0.157.1 | 0.157.1 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.0 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 |
## Notas da versão 5.4.0
As notas da versão a seguir incluem informações para a versão 5.4.0 do Amazon EMR. As alterações são referentes à versão 5.3.0 do Amazon EMR.
Data do release: 08 de março de 2017
**Atualizações**
+ Atualizado para Flink 1.2.0
+ Atualizado para 1.3.0 HBase
+ Atualizado para Phoenix 4.9.0
**nota**
Se você fez a atualização de uma versão mais antiga do Amazon EMR para a versão 5.4.0 ou posterior do Amazon EMR e usa indexação secundária, atualize os índices locais conforme descrito na [documentação do Apache Phoenix](https://phoenix.apache.org/secondary_indexing.html#Upgrading_Local_Indexes_created_before_4.8.0). O Amazon EMR remove as configurações necessárias da classificação do `hbase-site`, mas os índices precisam ser preenchidos novamente. O sistema oferece suporte a atualizações de índices online e offline. As atualizações online são o padrão, o que significa que os índices são preenchidos novamente durante a inicialização de clientes do Phoenix versão 4.8.0 ou posterior. Para especificar as atualizações offline, defina a configuração do `phoenix.client.localIndexUpgrade` como falsa na classificação do `phoenix-site` e, em seguida, execute o SSH no nó primário para executar o `psql [zookeeper] -1`.
+ Atualizado para Presto 0.166
+ Atualizado para Zeppelin 0.7.0
**Alterações e melhorias**
+ Adicionado o suporte para instâncias r4. Consulte [Tipos de instância do Amazon EC2](https://aws.amazon.com/ec2/instance-types/).
## Versões de componente 5.4.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.2.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.15.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.2.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.3.0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.0 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.0 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.3.0 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.3.0 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.1.1-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.11.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.9.0- -1.2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.9.0- -1.2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.166 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.166 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.7.0 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.9 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.9 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.4.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.4.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.3.2 do Amazon EMR
## Versões 5.3.2 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.3.2 | emr-5.3.1 | emr-5.3.0 | emr-5.2.3 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.4 | 1.1.4 | 1.1.4 | 1.1.3 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.11.0 | 3.11.0 | 3.11.0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.0.2 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 |
## Notas da versão 5.3.2
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.3.2
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.2.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.14.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.1.4 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.3 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.3 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.3 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.3 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.11.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.157.1 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.157.1 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.9 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.9 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.3.2
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.3.2**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.3.1 do Amazon EMR
## Versões 5.3.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.3.1 | emr-5.3.0 | emr-5.2.3 | emr-5.2.2 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.4 | 1.1.4 | 1.1.3 | 1.1.3 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.11.0 | 3.11.0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 |
| Spark | 2.1.0 | 2.1.0 | 2.0.2 | 2.0.2 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 |
## Notas da versão 5.3.1
As notas da versão a seguir incluem informações para a versão 5.3.1 do Amazon EMR. As alterações são referentes à versão 5.3.0 do Amazon EMR.
Data da versão: 7 de fevereiro de 2017
Pequenas alterações nos patches do Zeppelin de backport e na atualização da AMI padrão para o Amazon EMR.
## Versões de componente 5.3.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.2.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.14.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.1.4 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.3 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.3 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.3 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.3 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.11.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54\$1 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.157.1 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.157.1 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.9 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.9 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.3.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.3.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.3.0 do Amazon EMR
## Versões 5.3.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.3.0 | emr-5.2.3 | emr-5.2.2 | emr-5.2.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.4 | 1.1.3 | 1.1.3 | 1.1.3 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.11.0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 |
| Spark | 2.1.0 | 2.0.2 | 2.0.2 | 2.0.2 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 |
## Notas da versão 5.3.0
As notas da versão a seguir incluem informações para a versão 5.3.0 do Amazon EMR. As alterações são referentes à versão 5.2.1 do Amazon EMR.
Data do release: 26 de janeiro de 2017
**Atualizações**
+ Atualizado para Hive 2.1.1
+ Atualizado para Hue 3.11.0
+ Atualizado para Spark 2.1.0
+ Atualizado para Oozie 4.3.0
+ Atualizado para Flink 1.1.4
**Alterações e melhorias**
+ Adicionado um patch para o Hue que permite usar a configuração `interpreters_shown_on_wheel` para definir o que intérpretes mostram primeiro na roda de seleção do bloco de anotações, independentemente de sua ordem no arquivo `hue.ini`.
+ Adicionada a classificação de configuração `hive-parquet-logging`, que pode ser usada para configurar os valores no arquivo `parquet-logging.properties` do Hive.
## Versões de componente 5.3.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.2.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.14.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.1.4 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.3 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.3 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.3 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.3 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.1-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.1-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.1-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.1-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.1-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.11.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.52 | O servidor de banco de dados MySQL. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.157.1 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.157.1 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.1.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.1.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.1.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.1.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.25\$1 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.9 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.9 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.3.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.3.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.2.3 do Amazon EMR
## Versões 5.2.3 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.2.3 | emr-5.2.2 | emr-5.2.1 | emr-5.2.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-0 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.157.1 | 0.157.1 | 0.157.1 | 0.152.3 |
| Spark | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.8 |
## Notas da versão 5.2.3
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.2.3
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.2.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.13.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.1.3 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.3 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.3 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.3 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.3 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.10.0-amzn-0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.52 | O servidor de banco de dados MySQL. |
| oozie-client | 4.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.157.1 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.157.1 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.0.2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.0.2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.0.2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.0.2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.23 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.9 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.9 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.2.3
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.2.3**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.2.2 do Amazon EMR
## Versões 5.2.2 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.2.2 | emr-5.2.1 | emr-5.2.0 | emr-5.1.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-0 | 2.7.3-amzn-0 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.157.1 | 0.157.1 | 0.152.3 | 0.152.3 |
| Spark | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.8 | 3.4.8 |
## Notas da versão 5.2.2
As notas da versão a seguir incluem informações para a versão 5.2.2 do Amazon EMR. As alterações são referentes à versão 5.2.1 do Amazon EMR.
Data do release: 2 de maio de 2017
**Problemas conhecidos das versões anteriores que foram resolvidos**
+ Backported [SPARK-194459](https://issues.apache.org/jira/browse/SPARK-19459), que soluciona um problema em que a leitura de uma tabela ORC com colunas pode falhar. char/varchar
## Versões de componente 5.2.2
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.2.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.13.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.1.3 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.3 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.3 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.3 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.3 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.10.0-amzn-0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.52 | O servidor de banco de dados MySQL. |
| oozie-client | 4.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.157.1 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.157.1 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.0.2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.0.2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.0.2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.0.2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.23 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.9 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.9 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.2.2
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.2.2**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.2.1 do Amazon EMR
## Versões 5.2.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.2.1 | emr-5.2.0 | emr-5.1.1 | emr-5.1.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.157.1 | 0.152.3 | 0.152.3 | 0.152.3 |
| Spark | 2.0.2 | 2.0.2 | 2.0.1 | 2.0.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.8 | 3.4.8 | 3.4.8 |
## Notas da versão 5.2.1
As notas da versão a seguir incluem informações para a versão 5.2.1 do Amazon EMR. As alterações são referentes à versão 5.2.0 do Amazon EMR.
Data do release: 29 de dezembro de 2016
**Atualizações**
+ Atualizado para Presto 0.157.1. Para obter mais informações, consulte [Notas de release do Presto](https://prestodb.io/docs/current/release/release-0.157.1.html) na documentação do Presto.
+ Zookeeper atualizado para 3.4.9. Para obter mais informações, consulte as [notas de ZooKeeper lançamento](https://zookeeper.apache.org/doc/r3.4.9/releasenotes.html) na ZooKeeper documentação do Apache.
**Alterações e melhorias**
+ Adicionado o suporte para o tipo de instância do Amazon EC2 m4.16xlarge no Amazon EMR versão 4.8.3 e posterior, com exceção das versões 5.0.0, 5.0.3 e 5.2.0.
+ As versões do Amazon EMR agora são baseadas no Amazon Linux 2016.09. Para obter mais informações, consulte [https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/](https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/).
+ A localização de caminhos de configuração do Flink e do YARN agora são definidas por padrão em `/etc/default/flink` para que você não precise definir as variáveis de ambiente `FLINK_CONF_DIR` e `HADOOP_CONF_DIR` ao executar os scripts de driver `flink` ou `yarn-session.sh` para iniciar trabalhos do Flink.
+ Foi adicionado suporte para a FlinkKinesisConsumer aula.
**Problemas conhecidos das versões anteriores que foram resolvidos**
+ Corrigido um problema no Hadoop em que o ReplicationMonitor thread podia ficar preso por um longo tempo devido a uma corrida entre a replicação e a exclusão do mesmo arquivo em um grande cluster.
+ Corrigido um problema em que ControlledJob \$1toString falhava com uma exceção de ponteiro nulo (NPE) quando o status do trabalho não era atualizado com êxito.
## Versões de componente 5.2.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.2.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.13.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.1.3 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.3 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.3 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.3 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.3 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.10.0-amzn-0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.52 | O servidor de banco de dados MySQL. |
| oozie-client | 4.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.157.1 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.157.1 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.0.2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.0.2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.0.2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.0.2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.23 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.9 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.9 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.2.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.2.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.2.0 do Amazon EMR
## Versões 5.2.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.2.0 | emr-5.1.1 | emr-5.1.0 | emr-5.0.3 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.3 | 1.1.3 | 1.1.3 | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.152.3 | 0.152.3 | 0.152.3 |
| Spark | 2.0.2 | 2.0.1 | 2.0.1 | 2.0.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.1 |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## Notas da versão 5.2.0
As notas da versão a seguir incluem informações para a versão 5.2.0 do Amazon EMR. As alterações são referentes à versão 5.1.0 do Amazon EMR.
Data do release: 21 de novembro de 2016
**Alterações e melhorias**
+ Adicionado o modo de armazenamento Amazon S3 para. HBase
+ Permite que você especifique uma localização do Amazon S3 para o HBase rootdir. Para obter mais informações, consulte [HBase no Amazon S3](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-s3.html).
**Atualizações**
+ Atualizado para Spark 2.0.2
**Problemas conhecidos das versões anteriores que foram resolvidos**
+ Corrigido um problema com /mnt ficar restrito a 2 TB em tipos de instância somente EBS.
+ Corrigido um problema com o controlador de instância e com os logs do logpusher serem a saída para seus arquivos .out correspondentes, em vez de para seus arquivos normais .log configurados com log4j, que mudam de hora em hora. Os arquivos .out não alternam, portanto isso acabará por encher a partição /emr. Esse problema afeta somente tipos de instância de HVM (máquina virtual de hardware).
## Versões de componente 5.2.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.1.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.1.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.12.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.1.3 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.3 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.3 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.3 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.3 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.10.0-amzn-0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.52 | O servidor de banco de dados MySQL. |
| oozie-client | 4.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.152.3 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.152.3 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.0.2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.0.2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.0.2 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.0.2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.23 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.8 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.8 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.2.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.2.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.1.1 do Amazon EMR
## Versões 5.1.1 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.1.1 | emr-5.1.0 | emr-5.0.3 | emr-5.0.2 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.3 | 1.1.3 | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.2 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.2-amzn-3 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.152.3 | 0.152.3 | 0.150 |
| Spark | 2.0.1 | 2.0.1 | 2.0.1 | 2.0.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.1 | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## Notas da versão 5.1.1
Esta é uma versão de patch para adicionar a autenticação AWS Signature versão 4 para solicitações ao Amazon S3. Todas as aplicações e componentes são os mesmos que os da versão anterior do Amazon EMR.
**Importante**
Nesta versão de lançamento, o Amazon EMR usa o AWS Signature versão 4 exclusivamente para autenticar solicitações para o Amazon S3. Para obter mais informações, consulte [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).
## Versões de componente 5.1.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.1.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.1.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.11.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.1.3 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.3 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.3 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.3 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.3 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.10.0-amzn-0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.52 | O servidor de banco de dados MySQL. |
| oozie-client | 4.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.152.3 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.152.3 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.0.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.0.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.0.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.0.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.23 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.8 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.8 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.1.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.1.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.1.0 do Amazon EMR
## Versões 5.1.0 da aplicação
Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.1.0 | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.3 | - | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.2 | 1.2.2 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.152.3 | 0.150 | 0.150 |
| Spark | 2.0.1 | 2.0.1 | 2.0.0 | 2.0.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## Notas da versão 5.1.0
As notas da versão a seguir incluem informações para a versão 5.1.0 do Amazon EMR. As alterações são referentes à versão 5.0.3 do Amazon EMR.
Data do release: 03 de novembro de 2016
**Alterações e melhorias**
+ Adicionado o suporte para Flink 1.1.3.
+ O Presto foi adicionado como uma opção na seção bloco de anotações do Hue.
**Atualizações**
+ Atualizado para 1.2.3 HBase
+ Atualizado para Zeppelin 0.6.2
**Problemas conhecidos das versões anteriores que foram resolvidos**
+ Corrigido um problema com consultas do Tez no Amazon S3 com arquivos ORC que não tinham uma performance tão boa quanto em versões 4.x anteriores do Amazon EMR.
## Versões de componente 5.1.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.1.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.1.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.11.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.1.3 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.3 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.3 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.3 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.3 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.10.0-amzn-0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.52 | O servidor de banco de dados MySQL. |
| oozie-client | 4.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.152.3 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.152.3 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.0.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.0.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.0.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.0.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.23 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.2 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.8 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.8 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.1.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.1.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| flink-conf | Alterar as configurações do flink-conf.yaml. |
| flink-log4j | Alterar as configurações de log4j.properties no Flink. |
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.0.3 do Amazon EMR
## Versões 5.0.3 da aplicação
Esta versão inclui as seguintes aplicações: [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | - | - | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.150 | 0.150 | 0.150 |
| Spark | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## Notas da versão 5.0.3
As notas da versão a seguir incluem informações para a versão 5.0.3 do Amazon EMR. As alterações são referentes à versão 5.0.0 do Amazon EMR.
Data do release: 24 de outubro de 2016
**Atualizações**
+ Atualizado para Hadoop 2.7.3
+ Atualizado para Presto 0.152.3, que inclui o suporte para a interface da web do Presto. Você pode acessar a interface da web do Presto no coordenador do Presto usando a porta 8889. Para obter mais informações sobre a interface da web do Presto, consulte [Interface da web](https://prestodb.io/docs/current/admin/web-interface.html) na documentação do Presto.
+ Atualizado para Spark 2.0.1
+ As versões do Amazon EMR agora são baseadas no Amazon Linux 2016.09. Para obter mais informações, consulte [https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/](https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/).
## Versões de componente 5.0.3
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.1.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.1.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.10.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-0 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.3-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-0 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.3-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.3-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.2 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.2 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.2 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.2 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.2 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.10.0-amzn-0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.52 | O servidor de banco de dados MySQL. |
| oozie-client | 4.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.152.3 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.152.3 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.0.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.0.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.0.1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.0.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.23 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.8 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.8 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.0.3
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.0.3**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.0.2 do Amazon EMR
## Versões 5.0.2 da aplicação
Esta versão inclui as seguintes aplicações: [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | - | - | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.150 | 0.150 | 0.150 |
| Spark | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## Notas da versão 5.0.2
## Versões de componente 5.0.2
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.0.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.1.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.9.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.2-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.2-amzn-3 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.2-amzn-3 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.2-amzn-3 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.2-amzn-3 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.2-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.2-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.2-amzn-3 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.2-amzn-3 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.2-amzn-3 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.2 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.2 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.2 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.2 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.2 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.10.0-amzn-0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.46 | O servidor de banco de dados MySQL. |
| oozie-client | 4.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.150 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.150 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.0.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.0.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.0.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.0.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.23 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.1-SNAPSHOT | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.8 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.8 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.0.2
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.0.2**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.0.1 do Amazon EMR
## Versões 5.0.1 da aplicação
Esta versão inclui as seguintes aplicações: [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | - | - | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.150 | 0.150 | 0.150 |
| Spark | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## Notas da versão 5.0.1
## Versões de componente 5.0.1
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.0.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.1.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.9.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.2-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.2-amzn-3 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.2-amzn-3 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.2-amzn-3 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.2-amzn-3 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.2-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.2-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.2-amzn-3 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.2-amzn-3 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.2-amzn-3 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.2 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.2 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.2 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.2 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.2 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.10.0-amzn-0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.46 | O servidor de banco de dados MySQL. |
| oozie-client | 4.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.150 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.150 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.0.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.0.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.0.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.0.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.23 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.1-SNAPSHOT | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.8 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.8 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.0.1
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.0.1**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
# Versão 5.0.0 do Amazon EMR
## Versões 5.0.0 da aplicação
Esta versão inclui as seguintes aplicações: [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)
**Informações da versão da aplicação**
| | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | - | - | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase | 4.7.0- -1,2 HBase |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.150 | 0.150 | 0.150 |
| Spark | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## Notas da versão 5.0.0
Data do release: 27 de julho de 2016
**Atualizações**
+ Atualizado para Hive 2.1
+ Atualizado para Presto 0.150
+ Atualizado para Spark 2.0
+ Atualizado para Hue 3.10.0
+ Atualizado para Pig 0.16.0
+ Atualizado para Tez 0.8.4
+ Atualizado para Zeppelin 0.6.1
**Alterações e melhorias**
+ O Amazon EMR é compatível com as versões de código aberto mais recentes do Hive (versão 2.1) e do Pig (versão 0.16.0). Se, anteriormente, você tiver usado o Hive ou Pig no Amazon EMR, isso poderá afetar alguns casos de uso. Para obter mais informações, consulte [Hive](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive.html) e [Pig](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-pig.html).
+ O mecanismo de execução padrão para o Hive e o Pig agora é o Tez. Para alterar isso, você deve editar os valores apropriados nas classificações de configuração `hive-site` e `pig-properties`, respectivamente.
+ Um recurso de etapa aprimorada de depuração foi adicionado, o que permite que você veja a causa raiz de falhas de etapa se o serviço puder determinar a causa. Para obter mais informações, consulte[ Depuração de etapa aprimorada](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-enhanced-step-debugging.html) no Guia de gerenciamento do Amazon EMR.
+ Os aplicativos que, anteriormente, terminavam com "-Sandbox" não têm mais esse sufixo. Isso pode inutilizar sua automação, por exemplo, se você estiver usando scripts para iniciar clusters com esses aplicativos. A tabela a seguir mostra nomes de aplicações na versão 4.7.2 do Amazon EMR em relação à versão 5.0.0 do Amazon EMR.
**Alterações dos nomes de aplicativos**
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-500-release.html)
+ O Spark agora está compilado para Scala 2.11.
+ Java 8 é agora o JVM padrão. Todas as aplicações são executadas usando o runtime do Java 8. Não há alterações em qualquer destino de código de bytes da aplicação. A maioria dos aplicativos continuam a usar o Java 7 como destino.
+ O Zeppelin agora inclui recursos de autenticação. Para obter mais informações, consulte [Zeppelin](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-zeppelin.html).
+ Adicionado o suporte para configurações de segurança, que permitem criar e aplicar opções de criptografia com mais facilidade. Para obter mais informações, consulte [Criptografia de dados](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-data-encryption.html).
## Versões de componente 5.0.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.
| Componente | Versão | Description |
| --- | --- | --- |
| emr-ddb | 4.0.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.1.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.2.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.4.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.9.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.2-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.2-amzn-3 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 2.7.2-amzn-3 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 2.7.2-amzn-3 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-httpfs-server | 2.7.2-amzn-3 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 2.7.2-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 2.7.2-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.2-amzn-3 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.2-amzn-3 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.2-amzn-3 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 1.2.2 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.2.2 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.2.2 | HBase cliente de linha de comando. |
| hbase-rest-server | 1.2.2 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 1.2.2 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.1.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.1.0-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | Endpoint HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 2.1.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 2.1.0-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server | 2.1.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.10.0-amzn-0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.12.2 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.46 | O servidor de banco de dados MySQL. |
| oozie-client | 4.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.7.0- -1,2 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.7.0- -1,2 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0.150 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.150 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 2.0.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.0.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.0.0 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 2.0.0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O aplicativo e as bibliotecas do YARN para Tez. |
| webserver | 2.4.23 | O servidor Apache HTTP. |
| zeppelin-server | 0.6.1-SNAPSHOT | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.8 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.8 | ZooKeeper cliente de linha de comando. |
## Classificações de configuração 5.0.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
**Classificações do emr-5.0.0**
| Classificações | Description |
| --- | --- |
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
| emrfs-site | Alterar as configurações do EMRFS. |
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
| hbase-env | Mude os valores no HBase ambiente. |
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do. |
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. |
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. |
| hcatalog-env | Mude os valores no HCatalog ambiente. |
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
| hcatalog-webhcat-env | Altere valores no ambiente HCat da HCatalog Web. |
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. |
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. |
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
| hive-env | Alterar os valores no ambiente do Hive. |
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
| hue-ini | Alterar os valores no arquivo ini do Hue |
| httpfs-env | Alterar os valores no ambiente do HTTPFS. |
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. |
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
| oozie-env | Alterar os valores no ambiente do Oozie. |
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
| presto-log | Alterar os valores no arquivo log.properties do Presto. |
| presto-config | Alterar os valores no arquivo config.properties do Presto. |
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. |
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
| spark-env | Alterar os valores no ambiente do Spark. |
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
| sqoop-env | Alterar os valores no ambiente do Sqoop. |
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
| yarn-env | Alterar os valores no ambiente do YARN. |
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. |
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |