翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Amazon EMR 6.x リリースバージョン
<a name="emr-release-6x"></a>

このセクションでは、各 Amazon EMR 6.x リリースバージョンで利用可能なアプリケーションバージョン、リリースノート、コンポーネントバージョン、および設定分類を示しています。

クラスターを起動するときに、複数の Amazon EMR リリースから選択できます。これにより、互換性要件に合ったアプリケーションバージョンをテストして使用できます。リリース番号は*リリースラベル*で指定します。リリースラベルの形式は `emr-x.x.x` です。例えば、`emr-7.12.0`。

新しい Amazon EMR リリースは、特定のリージョンで最初に利用可能になり、その後数日で、他のリージョンでも利用できるようになります。この期間中、お客様のリージョンで最新のリリースバージョンが利用できない場合があります。

すべての Amazon EMR 6.x リリースのアプリケーションバージョンの包括的な表については、「[Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)」を参照してください。

**Topics**
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR リリース 6.15.0](emr-6150-release.md)
+ [Amazon EMR リリース 6.14.0](emr-6140-release.md)
+ [Amazon EMR リリース 6.13.0](emr-6130-release.md)
+ [Amazon EMR リリース 6.12.0](emr-6120-release.md)
+ [Amazon EMR リリース 6.11.1](emr-6111-release.md)
+ [Amazon EMR リリース 6.11.0](emr-6110-release.md)
+ [Amazon EMR リリース 6.10.1](emr-6101-release.md)
+ [Amazon EMR リリース 6.10.0](emr-6100-release.md)
+ [Amazon EMR リリース 6.9.1](emr-691-release.md)
+ [Amazon EMR リリース 6.9.0](emr-690-release.md)
+ [Amazon EMR リリース 6.8.1](emr-681-release.md)
+ [Amazon EMR リリース 6.8.0](emr-680-release.md)
+ [Amazon EMR リリース 6.7.0](emr-670-release.md)
+ [Amazon EMR リリース 6.6.0](emr-660-release.md)
+ [Amazon EMR リリース 6.5.0](emr-650-release.md)
+ [Amazon EMR リリース 6.4.0](emr-640-release.md)
+ [Amazon EMR リリース 6.3.1](emr-631-release.md)
+ [Amazon EMR リリース 6.3.0](emr-630-release.md)
+ [Amazon EMR リリース 6.2.1](emr-621-release.md)
+ [Amazon EMR リリース 6.2.0](emr-620-release.md)
+ [Amazon EMR リリース 6.1.1](emr-611-release.md)
+ [Amazon EMR リリース 6.1.0](emr-610-release.md)
+ [Amazon EMR リリース 6.0.1](emr-601-release.md)
+ [Amazon EMR リリース 6.0.0](emr-600-release.md)

# Amazon EMR 6.x リリースのアプリケーションバージョン
<a name="emr-release-app-versions-6.x"></a>

次の表に、各 Amazon EMR 6.x リリースで利用可能なアプリケーションバージョンを示します。


**アプリケーションバージョン情報**  

|  | emr-6.15.0 | emr-6.14.0 | emr-6.13.0 | emr-6.12.0 | emr-6.11.1 | emr-6.11.0 | emr-6.10.1 | emr-6.10.0 | emr-6.9.1 | emr-6.9.0 | emr-6.8.1 | emr-6.8.0 | emr-6.7.0 | emr-6.6.0 | emr-6.5.0 | emr-6.4.0 | emr-6.3.1 | emr-6.3.0 | emr-6.2.1 | emr-6.2.0 | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | 
| AWS SDK for Java | 2.20.160-amzn-0、1.12.569 | 1.12.543 | 1.12.513 | 1.12.490 | 1.12.446 | 1.12.446 | 1.12.397 | 1.12.397 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.31 | 1.12.31 | 1.11.977 | 1.11.977 | 1.11.880 | 1.11.880 | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.1.0 | 2.1.0 |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Flink | 1.17.1-amzn-1 | 1.17.1-amzn-0 | 1.17.0 | 1.17.0 | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 | 1.15.2 | 1.15.2 | 1.15.1 | 1.15.1 | 1.14.2 | 1.14.2 | 1.14.0 | 1.13.1 | 1.12.1 | 1.12.1 | 1.11.2 | 1.11.2 | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-3 | 2.4.17-amzn-2 | 2.4.17-amzn-1 | 2.4.17-amzn-0 | 2.4.15-amzn-1.1 | 2.4.15-amzn-1 | 2.4.15-amzn-0.1 | 2.4.15-amzn-0 | 2.4.13-amzn-0.1 | 2.4.13-amzn-0 | 2.4.12-amzn-0.1 | 2.4.12-amzn-0 | 2.4.4-amzn-3 | 2.4.4-amzn-2 | 2.4.4-amzn-1 | 2.4.4-amzn-0 | 2.2.6-amzn-1 | 2.2.6-amzn-1 | 2.2.6-amzn-0 | 2.2.6-amzn-0 | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.3-amzn-8 | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.3.6-amzn-1 | 3.3.3-amzn-6 | 3.3.3-amzn-5 | 3.3.3-amzn-4 | 3.3.3-amzn-3.1 | 3.3.3-amzn-3 | 3.3.3-amzn-2.1 | 3.3.3-amzn-2 | 3.3.3-amzn-1.1 | 3.3.3-amzn-1 | 3.2.1-amzn-8.1 | 3.2.1-amzn-8 | 3.2.1-amzn-7 | 3.2.1-amzn-6 | 3.2.1-amzn-5 | 3.2.1-amzn-4 | 3.2.1-amzn-3.1 | 3.2.1-amzn-3 | 3.2.1-amzn-2.1 | 3.2.1-amzn-2 | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.3-amzn-8 | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.14.0-amzn-0 | 0.13.1-amzn-2 | 0.13.1-amzn-1 | 0.13.1-amzn-0 | 0.13.0-amzn-0 | 0.13.0-amzn-0 | 0.12.2-amzn-0 | 0.12.2-amzn-0 | 0.12.1-amzn-0 | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 0.7.0-amzn-0 | 0.7.0-amzn-0 | 0.6.0-amzn-1 | 0.6.0-amzn-1 | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 | 4.9.0 | 4.8.0 | 4.8.0 | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg | 1.4.0-amzn-0 | 1.3.1-amzn-0 | 1.3.0-amzn-1 | 1.3.0-amzn-0 | 1.2.0-amzn-0 | 1.2.0-amzn-0 | 1.1.0-amzn-0 | 1.1.0-amzn-0 | 0.14.1-amzn-0 | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 0.13.1-amzn-0 | 0.13.1 | 0.12.0 |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.5.0 | 1.5.0 | 1.5.0 | 1.4.1 | 1.4.1 | 1.4.1 | 1.5.0 | 1.5.0 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 | 1.2.2 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.283-amzn-0 | 0.281-amzn-2 | 0.281-amzn-1 | 0.281-amzn-0 | 0.279-amzn-0 | 0.279-amzn-0 | 0.278.1-amzn-0 | 0.278.1-amzn-0 | 0.276-amzn-0 | 0.276-amzn-0 | 0.273.3-amzn-0 | 0.273.3-amzn-0 | 0.272-amzn-0 | 0.267-amzn-0 | 0.261-amzn-0 | 0.254.1-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.238.3-amzn-1 | 0.238.3-amzn-1 | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.4.1-amzn-2 | 3.4.1-amzn-1 | 3.4.1-amzn-0 | 3.4.0-amzn-0 | 3.3.2-amzn-0.1 | 3.3.2-amzn-0 | 3.3.1-amzn-0.1 | 3.3.1-amzn-0 | 3.3.0-amzn-1.1 | 3.3.0-amzn-1 | 3.3.0-amzn-0.1 | 3.3.0-amzn-0 | 3.2.1-amzn-0 | 3.2.0-amzn-0 | 3.1.2-amzn-1 | 3.1.2-amzn-0 | 3.1.1-amzn-0.1 | 3.1.1-amzn-0 | 3.0.1-amzn-0.1 | 3.0.1-amzn-0 | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.10.0 | 2.10.0 | 2.9.1 | 2.9.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.3.1 | 2.3.1 | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.10.2-amzn-6 | 0.10.2-amzn-5 | 0.10.2-amzn-4 | 0.10.2-amzn-3 | 0.10.2-amzn-2.1 | 0.10.2-amzn-2 | 0.10.2-amzn-1.1 | 0.10.2-amzn-1 | 0.10.2-amzn-0.1 | 0.10.2-amzn-0 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 426-amzn-0 | 422-amzn-0 | 414-amzn-1 | 414-amzn-0 | 410-amzn-0 | 410-amzn-0 | 403-amzn-0 | 403-amzn-0 | 398-amzn-0 | 398-amzn-0 | 388-amzn-0 | 388-amzn-0 | 378-amzn-0 | 367-amzn-0 | 360 | 359 | 350 | 350 | 343 | 343 | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 | 0.9.0 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.7 | 3.5.7 | 3.5.7 | 3.5.7 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

# Amazon EMR リリース 6.15.0
<a name="emr-6150-release"></a>

## 6.15.0 アプリケーションバージョン
<a name="emr-6150-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.15.0 | emr-6.14.0 | emr-6.13.0 | emr-6.12.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 2.20.160-amzn-0、1.12.569 | 1.12.543 | 1.12.513 | 1.12.490 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 
| Flink | 1.17.1-amzn-1 | 1.17.1-amzn-0 | 1.17.0 | 1.17.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-3 | 2.4.17-amzn-2 | 2.4.17-amzn-1 | 2.4.17-amzn-0 | 
| HCatalog | 3.1.3-amzn-8 | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 
| Hadoop | 3.3.6-amzn-1 | 3.3.3-amzn-6 | 3.3.3-amzn-5 | 3.3.3-amzn-4 | 
| Hive | 3.1.3-amzn-8 | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 
| Hudi | 0.14.0-amzn-0 | 0.13.1-amzn-2 | 0.13.1-amzn-1 | 0.13.1-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 
| Iceberg | 1.4.0-amzn-0 | 1.3.1-amzn-0 | 1.3.0-amzn-1 | 1.3.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.5.0 | 1.5.0 | 1.5.0 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.3 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.283-amzn-0 | 0.281-amzn-2 | 0.281-amzn-1 | 0.281-amzn-0 | 
| Spark | 3.4.1-amzn-2 | 3.4.1-amzn-1 | 3.4.1-amzn-0 | 3.4.0-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-6 | 0.10.2-amzn-5 | 0.10.2-amzn-4 | 0.10.2-amzn-3 | 
| Trino (PrestoSQL) | 426-amzn-0 | 422-amzn-0 | 414-amzn-1 | 414-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.15.0 リリースノート
<a name="emr-6150-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.15.0 に関する情報が含まれています。6.14.0 からの変更が含まれています。リリースタイムラインの詳細については、「[6.15.0 変更ログ](#6150-changelog)」を参照してください。

**新機能**
+ **アプリケーションのアップグレード** - Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.
+ **[EC2 で実行される EMR クラスターの起動時間の短縮](https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-emr-ec2-clusters-5-minutes-less/)** - EC2 クラスターでの Amazon EMR の起動が最大 35% 速くなりました。この改善により、お客様の大多数はクラスターを 5 分以内に起動できます。
+ **[EMR Studio 用 CodeWhisperer](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio-codewhisperer.html)** - Amazon EMR Studio で Amazon CodeWhisperer を使用すると、JupyterLab でコードを作成する際にリアルタイムで推奨事項を取得できるようになりました。CodeWhisperer により、コメントを完成させたり、1 行のコードを完成させたり、1 行ずつ推奨を行ったり、完全な形式の関数を生成したりできます。
+ **[Flink によるジョブの再起動時間の短縮](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-restart.html)** - Amazon EMR 6.15.0 以降では、Apache Flink にいくつかの新しいメカニズムが用意され、タスクの回復またはスケーリング操作中のジョブの再起動時間を短縮できます。これにより、実行グラフの回復と再開の速度を最適化してジョブの安定性を高めることができます。
+ **[オープンテーブル形式のテーブルレベルおよびきめ細かなアクセスコントロール](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lf-enable.html)** – Amazon EMR 6.15.0 以降では、 Glue Data Catalog のデータにアクセスする EC2 クラスターで Amazon EMR で Spark AWS ジョブを実行すると、 AWS Lake Formation を使用して Hudi、Iceberg、または Delta Lake ベースのテーブルにテーブル、行、列、およびセルレベルのアクセス許可を適用できます。
+ **Hadoop のアップグレード** - Amazon EMR 6.15.0 には、Apache Hadoop のバージョン 3.3.6 へのアップグレードが含まれています。Hadoop 3.3.6 は、2023 年 6 月にアパッチによってリリースされた Amazon EMR 6.15 のデプロイ時の最新バージョンでした。Amazon EMR の以前のリリース (6.9.0 から 6.14.x) では Hadoop 3.3.3 が使用されていました。

  このアップグレードには数百の改善と修正が含まれており、再構成可能なデータノードパラメータ、すべてのライブデータノードで一括再構成操作を開始する `DFSAdmin` オプション、シーク負荷の高いリーダーが複数の読み取り範囲を指定できるベクトル API などの機能が含まれています。Hadoop 3.3.6 では、HBase が他のストレージシステム実装でも実行できるように、HDFS API と先行書き込みログ (WAL) のセマンティクスのサポートも追加されています。詳細については、「*Apache Hadoop documentation*」のバージョン [3.3.4](https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/release/3.3.4/CHANGELOG.3.3.4.html)、[3.3.5](https://hadoop.apache.org/docs/r3.3.5/hadoop-project-dist/hadoop-common/release/3.3.5/CHANGELOG.3.3.5.html)、[3.3.6](https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-common/release/3.3.6/CHANGELOG.3.3.6.html) の変更ログを参照してください。
+ ** AWS SDK for Java バージョン 2 のサポート** - アプリケーションが v2 をサポートしている場合は、Amazon EMR 6.15.0 アプリケーションは AWS SDK for Java バージョン [1.12.569](https://github.com/aws/aws-sdk-java/tree/1.12.569) または [2.20.160](https://github.com/aws/aws-sdk-java-v2/tree/2.20.160) を使用できます。 AWS SDK for Java 2.x は、バージョン 1.x コードベースの大幅な書き換えです。今回のバージョンは Java 8 以降をベースに構築されており、これまで要望の声が高かった機能が複数追加されています。このバージョンでは、ノンブロッキング I/O がサポートされており、ランタイム時にさまざまな HTTP 実装をプラグインすることができます。**SDK for Java v1 から v2 への移行ガイド**を含めた詳細については、[AWS SDK for Java バージョン 2](https://docs.aws.amazon.com/sdk-for-java) ガイドを参照してください。

**既知の問題**
+ クラスター上でインスタンスの健全性を監視するインスタンス状態スクリプトは、ノード上に大量のスレッドやオープンファイルハンドルが存在する場合、過度の CPU およびメモリリソースを消費する可能性があります。

**変更点、機能強化、解決した問題**
+  Spark 3.3.1 (EMR バージョン 6.10 以降でサポート) 以降、廃止ホスト内のすべてのエグゼキュターは *DECOMMISSIONING* 状態と呼ばれる新しい `ExecutorState` に設定されます。デコミッション中のエグゼキューターは、Yarn がタスクを割り当てるために使用することができないため、実行中のタスクに対して、必要に応じて新しいエグゼキューターをリクエストします。したがって、EMR Managed Scaling、EMR Auto Scaling、または EMR-EC2 クラスターでカスタムスケーリングメカニズムを使用しているときに Spark DRA を無効にすることにより、Yarn はジョブごとに最大許容エグゼキュターをリクエストすることがあります。この問題を回避するには、上記の機能の組み合わせを使用しているときに、`spark.dynamicAllocation.enabled` プロパティを `TRUE` (デフォルト) に設定したままにします。さらに、Spark ジョブの `spark.dynamicAllocation.maxExecutors` および `spark.dynamicAllocation.minExecutors` プロパティの値を設定して、ジョブの実行中に割り当てられるエグゼキュターの数を制限することで、エグゼキュターの最小制約と最大制約を設定することもできます。
+ 高可用性 EMR クラスターを改善するため、このリリースでは、IPv6 エンドポイントを使用するローカルホスト上の Amazon EMR デーモンへの接続が可能になりました。
+ このリリースでは、TLS 1.2 が高可用性クラスターのすべてのプライマリノードにプロビジョニングされた ZooKeeper と通信できるようになります。
+ このリリースでは、プライマリノードで管理される ZooKeeper トランザクションログファイルの管理が改善され、ログファイルが範囲外になり、クラスターの操作が中断されるシナリオを最小限に抑えることができます。
+ このリリースにより、高可用性 EMR クラスターのノード内通信の回復力が高まりました。この改善により、ブートストラップアクションが失敗したり、クラスターの起動に失敗したりする可能性が低くなります。
+ Amazon EMR 6.15.0 の Tez では、入力スプリットを Tez グループ分割で非同期的に開くように指定できる設定が導入されています。これにより、1 つの Tez グループ分割で多数の入力分割がある場合に、読み取りクエリのパフォーマンスが向上します。詳細については、「[Tez 非同期スプリットオープン](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/tez-configure.html#tez-configure-async)」を参照してください。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-6150-release.html)

## 6.15.0 のデフォルト Java バージョン
<a name="emr-6150-jdk"></a>

Amazon EMR リリース 6.12.0 以降では、Trino を除き、Amazon Corretto 8 を使用するすべてのアプリケーションをデフォルトでサポートします。Trino の場合、Amazon EMR は Amazon EMR リリース 6.9.0 以降、デフォルトで Amazon Corretto 17 をサポートしています。Amazon EMR は Amazon Corretto 11 および 17 を使用する一部のアプリケーションもサポートしています。これらのアプリケーションのリストを以下の表に示します。クラスターのデフォルト JVM を変更する場合は、クラスター上で実行される各アプリケーションに対して「[特定の Java 仮想マシンを使用するようにアプリケーションを設定](configuring-java8.md)」の手順を実行してください。1 つのクラスターに使用できる Java ランタイムバージョンは 1 つだけです。Amazon EMR は、同じクラスター上の異なるランタイムバージョンで異なるノードやアプリケーションを実行することをサポートしていません。

Amazon EMR は Apache Spark、Apache Hadoop、および Apache Hive で Amazon Corretto 11 と 17 の両方をサポートしていますが、これらのバージョンの Corretto を使用すると、一部のワークロードでパフォーマンスが低下する可能性があります。デフォルトを変更する前に、ワークロードをテストすることをお勧めします。

次の表は、Amazon EMR 6.15.0 のアプリケーションのデフォルト Java バージョンを示しています。


| アプリケーション | Java/Amazon Corretto バージョン (デフォルトは太字) | 
| --- | --- | 
| Delta | 17、11、8 | 
| Flink | 11、8 | 
| Ganglia | 8 | 
| HBase | 11、8 | 
| HCatalog | 17、11、8 | 
| Hadoop | 17、11、8 | 
| [Hive] | 17、11、8 | 
| Hudi | 17、11、8 | 
| Iceberg | 17、11、8 | 
| Livy | 17、11、8 | 
| Oozie | 17、11、8 | 
| Phoenix | 8 | 
| PrestoDB | 8 | 
| Spark | 17、11、8 | 
| Spark RAPIDS | 17、11、8 | 
| Sqoop | 8 | 
| Tez | 17、11、8 | 
| Trino | 17 | 
| Zeppelin | 8 | 
| Pig | 8 | 
| Zookeeper | 8 | 

## 6.15.0 コンポーネントバージョン
<a name="emr-6150-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK | 
| delta | 2.4.0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 | 
| delta-standalone-connectors | 0.6.0 | Delta コネクタは、Flink、Hive、Presto などのエンジンと Delta Lake を統合するためのさまざまなランタイムを提供します。 | 
| emr-ddb | 5.2.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.8.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.12.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.29.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.8.0 | EMR S3Select コネクター | 
| emr-wal-cli | 1.2.0 | emrwal のリスト/削除に使用される CLI。 | 
| emrfs | 2.60.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.17.1-amzn-1 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.17.1-amzn-1 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.3.6-amzn-1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.3.6-amzn-1 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.3.6-amzn-1 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.3.6-amzn-1 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.3.6-amzn-1 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.3.6-amzn-1 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.3.6-amzn-1 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.3.6-amzn-1 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.3.6-amzn-1 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.3.6-amzn-1 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.3.6-amzn-1 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.17-amzn-3 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.17-amzn-3 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.17-amzn-3 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.17-amzn-3 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.17-amzn-3 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.17-amzn-3 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-8 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-8 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-8 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-8 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-8 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-8 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-8 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.14.0-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.14.0-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.14.0-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.14.0-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.11.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 1.4.0-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.5.0 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.8.0 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.7.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.3 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 5.1.3 | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 6.0.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.283-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.283-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.283-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 426-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 426-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 426-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.4.1-amzn-2 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.4.1-amzn-2 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.4.1-amzn-2 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.4.1-amzn-2 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 23.08.1-amzn-0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.11.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.10.2-amzn-6 | tez YARN アプリケーションおよびライブラリ。 | 
| tez-on-worker | 0.10.2-amzn-6 | ワーカーノード用 tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 | 

## 6.15.0 設定分類
<a name="emr-6150-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.15.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-java-home | Hadoop の KMS java ホームを変更します。 | Not available. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-lakeformation | Presto の lakeformation.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-delta | Trino の delta.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Trino の exchange-manager.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Trino の hudi.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Ranger KMS の kms-logback.xml ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

## 6.15.0 変更ログ
<a name="6150-changelog"></a>


**6.15.0 リリースおよびリリースノートの変更ログ**  

| 日付 | [Event] (イベント) | 説明 | 
| --- | --- | --- | 
| 2025-09-03 | ドキュメントリビジョン | Amazon EMR 6.15.0 リリースノートに既知の問題を追加 | 
| 2023-11-17 | ドキュメント公開 | Amazon EMR 6.15.0 リリースノートの初版が公開されました | 
| 2023-11-17 | デプロイ完了 | Amazon EMR 6.15.0 がすべての[サポートされているリージョン](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)に完全にデプロイされました | 
| 2023-11-13 | 初回リリース | Amazon EMR 6.15.0 が初回商用リージョンに初めてデプロイされました | 

# Amazon EMR リリース 6.14.0
<a name="emr-6140-release"></a>

## 6.14.0 アプリケーションバージョン
<a name="emr-6140-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.14.0 | emr-6.13.0 | emr-6.12.0 | emr-6.11.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.543 | 1.12.513 | 1.12.490 | 1.12.446 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.4.0 | 2.4.0 | 2.2.0 | 
| Flink | 1.17.1-amzn-0 | 1.17.0 | 1.17.0 | 1.16.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-2 | 2.4.17-amzn-1 | 2.4.17-amzn-0 | 2.4.15-amzn-1.1 | 
| HCatalog | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 
| Hadoop | 3.3.3-amzn-6 | 3.3.3-amzn-5 | 3.3.3-amzn-4 | 3.3.3-amzn-3.1 | 
| Hive | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 
| Hudi | 0.13.1-amzn-2 | 0.13.1-amzn-1 | 0.13.1-amzn-0 | 0.13.0-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 
| Iceberg | 1.3.1-amzn-0 | 1.3.0-amzn-1 | 1.3.0-amzn-0 | 1.2.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.5.0 | 1.5.0 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.281-amzn-2 | 0.281-amzn-1 | 0.281-amzn-0 | 0.279-amzn-0 | 
| Spark | 3.4.1-amzn-1 | 3.4.1-amzn-0 | 3.4.0-amzn-0 | 3.3.2-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-5 | 0.10.2-amzn-4 | 0.10.2-amzn-3 | 0.10.2-amzn-2.1 | 
| Trino (PrestoSQL) | 422-amzn-0 | 414-amzn-1 | 414-amzn-0 | 410-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.14.0 リリースノート
<a name="emr-6140-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.14.0 に関する情報が含まれています。6.13.0 からの変更が含まれています。リリースタイムラインの詳細については、「[6.14.0 変更ログ](#6140-changelog)」を参照してください。

**新機能**
+ Amazon EMR 6.14.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-2, Flink 1.17.1, Iceberg 1.3.1, and Trino 422.
+ Amazon EMR 6.14.0 以降で作成したクラスターについて、`ap-southeast-3` アジアパシフィック (ジャカルタ) リージョンで [Amazon EMR Managed Scaling](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html) を利用できるようになりました。

**既知の問題**
+ クラスター上でインスタンスの健全性を監視するインスタンス状態スクリプトは、ノード上に大量のスレッドやオープンファイルハンドルが存在する場合、過度の CPU およびメモリリソースを消費する可能性があります。

**変更点、機能強化、解決した問題**
+  Spark 3.3.1 (EMR バージョン 6.10 以降でサポート) 以降、廃止ホスト内のすべてのエグゼキュターは *DECOMMISSIONING* 状態と呼ばれる新しい `ExecutorState` に設定されます。デコミッション中のエグゼキューターは、Yarn がタスクを割り当てるために使用することができないため、実行中のタスクに対して、必要に応じて新しいエグゼキューターをリクエストします。したがって、EMR Managed Scaling、EMR Auto Scaling、または EMR-EC2 クラスターでカスタムスケーリングメカニズムを使用しているときに Spark DRA を無効にすることにより、Yarn はジョブごとに最大許容エグゼキュターをリクエストすることがあります。この問題を回避するには、上記の機能の組み合わせを使用しているときに、`spark.dynamicAllocation.enabled` プロパティを `TRUE` (デフォルト) に設定したままにします。さらに、Spark ジョブの `spark.dynamicAllocation.maxExecutors` および `spark.dynamicAllocation.minExecutors` プロパティの値を設定して、ジョブの実行中に割り当てられるエグゼキュターの数を制限することで、エグゼキュターの最小制約と最大制約を設定することもできます。
+ 6.14.0 リリースでは、Amazon EC2 で実行されている Amazon EMR でのログ管理が最適化されています。その結果、クラスターログのストレージコストがわずかに削減される可能性があります。
+ 6.14.0 リリースでは、Amazon EBS ボリュームのサイズに大きなばらつきがあるさまざまなコアインスタンスを考慮して、スケーリングワークフローが改善されています。この改善はコアノードにのみ適用され、タスクノードのスケールダウン操作には影響しません。
+ 6.14.0 リリースでは、Amazon EMR が Apache Hadoop YARN ResourceManager and HDFS NameNode などのオープンソースアプリケーションとやり取りする方法が改善されています。この改善により、クラスタースケーリングによる運用遅延のリスクが軽減され、オープンソースアプリケーションとの接続の問題が原因で発生する起動障害が軽減されます。
+ 6.14.0 リリースでは、クラスター起動時のアプリケーションのインストールが最適化されます。これにより、Amazon EMR アプリケーションの特定の組み合わせのクラスター起動時間が短縮されます。
+ 6.14.0 リリースでは、カスタムドメインの VPC で実行されているクラスターがコアノードまたはタスクノードの再起動に遭遇したときに、クラスターのスケールダウン操作が停止することがある問題が修正されています。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-6140-release.html)

## 6.14.0 のデフォルト Java バージョン
<a name="emr-6140-jdk"></a>

Amazon EMR リリース 6.12.0 以降では、Trino を除き、Amazon Corretto 8 を使用するすべてのアプリケーションをデフォルトでサポートします。Trino の場合、Amazon EMR は Amazon EMR リリース 6.9.0 以降、デフォルトで Amazon Corretto 17 をサポートしています。Amazon EMR は Amazon Corretto 11 および 17 を使用する一部のアプリケーションもサポートしています。これらのアプリケーションのリストを以下の表に示します。クラスターのデフォルト JVM を変更する場合は、クラスター上で実行される各アプリケーションに対して「[特定の Java 仮想マシンを使用するようにアプリケーションを設定](configuring-java8.md)」の手順を実行してください。1 つのクラスターに使用できる Java ランタイムバージョンは 1 つだけです。Amazon EMR は、同じクラスター上の異なるランタイムバージョンで異なるノードやアプリケーションを実行することをサポートしていません。

Amazon EMR は Apache Spark、Apache Hadoop、および Apache Hive で Amazon Corretto 11 と 17 の両方をサポートしていますが、これらのバージョンの Corretto を使用すると、一部のワークロードでパフォーマンスが低下する可能性があります。デフォルトを変更する前に、ワークロードをテストすることをお勧めします。

次の表は、Amazon EMR 6.14.0 のアプリケーションのデフォルト Java バージョンを示しています。


| アプリケーション | Java/Amazon Corretto バージョン (デフォルトは太字) | 
| --- | --- | 
| Delta | 17、11、8 | 
| Flink | 11、8 | 
| Ganglia | 8 | 
| HBase | 11、8 | 
| HCatalog | 17、11、8 | 
| Hadoop | 17、11、8 | 
| [Hive] | 17、11、8 | 
| Hudi | 17、11、8 | 
| Iceberg | 17、11、8 | 
| Livy | 17、11、8 | 
| Oozie | 17、11、8 | 
| Phoenix | 8 | 
| PrestoDB | 8 | 
| Spark | 17、11、8 | 
| Spark RAPIDS | 17、11、8 | 
| Sqoop | 8 | 
| Tez | 17、11、8 | 
| Trino | 17 | 
| Zeppelin | 8 | 
| Pig | 8 | 
| Zookeeper | 8 | 

## 6.14.0 コンポーネントバージョン
<a name="emr-6140-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK | 
| delta | 2.4.0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 | 
| delta-standalone-connectors | 0.6.0 | Delta コネクタは、Flink、Hive、Presto などのエンジンと Delta Lake を統合するためのさまざまなランタイムを提供します。 | 
| emr-ddb | 5.1.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.7.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.11.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.28.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.7.0 | EMR S3Select コネクター | 
| emr-wal-cli | 1.1.0 | emrwal のリスト/削除に使用される CLI。 | 
| emrfs | 2.59.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.17.1-amzn-0 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.17.1-amzn-0 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.3.3-amzn-6 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-6 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.3.3-amzn-6 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.3.3-amzn-6 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-6 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.3.3-amzn-6 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.3.3-amzn-6 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.3.3-amzn-6 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-6 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-6 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-6 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.17-amzn-2 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.17-amzn-2 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.17-amzn-2 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.17-amzn-2 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.17-amzn-2 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.17-amzn-2 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-7 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-7 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-7 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-7 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-7 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-7 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-7 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.13.1-amzn-2 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.13.1-amzn-2 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.13.1-amzn-2 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.13.1-amzn-2 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.11.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 1.3.1-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.5.0 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.8.0 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.7.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.3 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 5.1.3 | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 6.0.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.281-amzn-2 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.281-amzn-2 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.281-amzn-2 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 422-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 422-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 422-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.4.1-amzn-1 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.4.1-amzn-1 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.4.1-amzn-1 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.4.1-amzn-1 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 23.06.0-amzn-2 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.11.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.10.2-amzn-5 | tez YARN アプリケーションおよびライブラリ。 | 
| tez-on-worker | 0.10.2-amzn-5 | ワーカーノード用 tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 | 

## 6.14.0 設定分類
<a name="emr-6140-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.14.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-java-home | Hadoop の KMS java ホームを変更します。 | Not available. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-lakeformation | Presto の lakeformation.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-delta | Trino の delta.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Trino の exchange-manager.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Trino の hudi.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Ranger KMS の kms-logback.xml ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

## 6.14.0 変更ログ
<a name="6140-changelog"></a>


**6.14.0 リリースおよびリリースノートの変更ログ**  

| 日付 | [Event] (イベント) | 説明 | 
| --- | --- | --- | 
| 2025-09-03 | ドキュメントリビジョン | Amazon EMR 6.14.0 リリースノートに既知の問題を追加 | 
| *2023-11-02* | デプロイ完了 | Amazon EMR 6.14.0 がすべての[サポートされているリージョン](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)に完全にデプロイされました | 
| 2023-10-10 | ドキュメント公開 | Amazon EMR 6.14.0 リリースノートの初版が公開されました | 
| 2023-10-04 | 初回リリース | Amazon EMR 6.14.0 が初回商用リージョンに初めてデプロイされました | 

# Amazon EMR リリース 6.13.0
<a name="emr-6130-release"></a>

## 6.13.0 アプリケーションバージョン
<a name="emr-6130-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.13.0 | emr-6.12.0 | emr-6.11.1 | emr-6.11.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.513 | 1.12.490 | 1.12.446 | 1.12.446 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.4.0 | 2.2.0 | 2.2.0 | 
| Flink | 1.17.0 | 1.17.0 | 1.16.0 | 1.16.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-1 | 2.4.17-amzn-0 | 2.4.15-amzn-1.1 | 2.4.15-amzn-1 | 
| HCatalog | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 
| Hadoop | 3.3.3-amzn-5 | 3.3.3-amzn-4 | 3.3.3-amzn-3.1 | 3.3.3-amzn-3 | 
| Hive | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 
| Hudi | 0.13.1-amzn-1 | 0.13.1-amzn-0 | 0.13.0-amzn-0 | 0.13.0-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 
| Iceberg | 1.3.0-amzn-1 | 1.3.0-amzn-0 | 1.2.0-amzn-0 | 1.2.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.5.0 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.3 | 5.1.3 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.281-amzn-1 | 0.281-amzn-0 | 0.279-amzn-0 | 0.279-amzn-0 | 
| Spark | 3.4.1-amzn-0 | 3.4.0-amzn-0 | 3.3.2-amzn-0.1 | 3.3.2-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-4 | 0.10.2-amzn-3 | 0.10.2-amzn-2.1 | 0.10.2-amzn-2 | 
| Trino (PrestoSQL) | 414-amzn-1 | 414-amzn-0 | 410-amzn-0 | 410-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.13.0 リリースノート
<a name="emr-6130-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.13.0 に関する情報が含まれています。6.12.0 からの変更が含まれています。リリースタイムラインの詳細については、「[6.13.0 変更ログ](#6130-changelog)」を参照してください。

**新機能**
+ Amazon EMR 6.13.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-1, CUDA Toolkit 11.8.0, and JupyterHub 1.5.0.

**既知の問題**
+ クラスター上でインスタンスの健全性を監視するインスタンス状態スクリプトは、ノード上に大量のスレッドやオープンファイルハンドルが存在する場合、過度の CPU およびメモリリソースを消費する可能性があります。

**変更点、機能強化、解決した問題**
+  Spark 3.3.1 (EMR バージョン 6.10 以降でサポート) 以降、廃止ホスト内のすべてのエグゼキュターは *DECOMMISSIONING* 状態と呼ばれる新しい `ExecutorState` に設定されます。デコミッション中のエグゼキューターは、Yarn がタスクを割り当てるために使用することができないため、実行中のタスクに対して、必要に応じて新しいエグゼキューターをリクエストします。したがって、EMR Managed Scaling、EMR Auto Scaling、または EMR-EC2 クラスターでカスタムスケーリングメカニズムを使用しているときに Spark DRA を無効にすることにより、Yarn はジョブごとに最大許容エグゼキュターをリクエストすることがあります。この問題を回避するには、上記の機能の組み合わせを使用しているときに、`spark.dynamicAllocation.enabled` プロパティを `TRUE` (デフォルト) に設定したままにします。さらに、Spark ジョブの `spark.dynamicAllocation.maxExecutors` および `spark.dynamicAllocation.minExecutors` プロパティの値を設定して、ジョブの実行中に割り当てられるエグゼキュターの数を制限することで、エグゼキュターの最小制約と最大制約を設定することもできます。
+ 6.13.0 リリースでは、Amazon EMR ログ管理デーモンが改善され、クラスター終了コマンドが発行されたときに、すべてのログが定期的に Amazon S3 にアップロードされるようになりました。これにより、クラスターの終了が速くなります。
+ 6.13.0 リリースでは Amazon EMR のログ管理機能が強化され、すべてのログファイルを Amazon S3 に一貫してタイムリーにアップロードできるようになりました。これは特に、長時間稼働する EMR クラスターにメリットをもたらします。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-6130-release.html)

## 6.13.0 のデフォルト Java バージョン
<a name="emr-6130-jdk"></a>

Amazon EMR リリース 6.12.0 以降では、Trino を除き、Amazon Corretto 8 を使用するすべてのアプリケーションをデフォルトでサポートします。Trino の場合、Amazon EMR は Amazon EMR リリース 6.9.0 以降、デフォルトで Amazon Corretto 17 をサポートしています。Amazon EMR は Amazon Corretto 11 および 17 を使用する一部のアプリケーションもサポートしています。これらのアプリケーションのリストを以下の表に示します。クラスターのデフォルト JVM を変更する場合は、クラスター上で実行される各アプリケーションに対して「[特定の Java 仮想マシンを使用するようにアプリケーションを設定](configuring-java8.md)」の手順を実行してください。1 つのクラスターに使用できる Java ランタイムバージョンは 1 つだけです。Amazon EMR は、同じクラスター上の異なるランタイムバージョンで異なるノードやアプリケーションを実行することをサポートしていません。

Amazon EMR は Apache Spark、Apache Hadoop、および Apache Hive で Amazon Corretto 11 と 17 の両方をサポートしていますが、これらのバージョンの Corretto を使用すると、一部のワークロードでパフォーマンスが低下する可能性があります。デフォルトを変更する前に、ワークロードをテストすることをお勧めします。

次の表は、Amazon EMR 6.13.0 のアプリケーションのデフォルト Java バージョンを示しています。


| アプリケーション | Java/Amazon Corretto バージョン (デフォルトは太字) | 
| --- | --- | 
| Delta | 17、11、8 | 
| Flink | 11、8 | 
| Ganglia | 8 | 
| HBase | 11、8 | 
| HCatalog | 17、11、8 | 
| Hadoop | 17、11、8 | 
| [Hive] | 17、11、8 | 
| Hudi | 17、11、8 | 
| Iceberg | 17、11、8 | 
| Livy | 17、11、8 | 
| Oozie | 17、11、8 | 
| Phoenix | 8 | 
| PrestoDB | 8 | 
| Spark | 17、11、8 | 
| Spark RAPIDS | 17、11、8 | 
| Sqoop | 8 | 
| Tez | 17、11、8 | 
| Trino | 17 | 
| Zeppelin | 8 | 
| Pig | 8 | 
| Zookeeper | 8 | 

## 6.13.0 コンポーネントバージョン
<a name="emr-6130-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK | 
| delta | 2.4.0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 | 
| delta-standalone-connectors | 0.6.0 | Delta コネクタは、Flink、Hive、Presto などのエンジンと Delta Lake を統合するためのさまざまなランタイムを提供します。 | 
| emr-ddb | 5.1.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.6.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.10.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.27.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.6.0 | EMR S3Select コネクター | 
| emr-wal-cli | 1.1.0 | emrwal のリスト/削除に使用される CLI。 | 
| emrfs | 2.58.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.17.0 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.17.0 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.3.3-amzn-5 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-5 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.3.3-amzn-5 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.3.3-amzn-5 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-5 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.3.3-amzn-5 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.3.3-amzn-5 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.3.3-amzn-5 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-5 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-5 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-5 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.17-amzn-1 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.17-amzn-1 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.17-amzn-1 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.17-amzn-1 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.17-amzn-1 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.17-amzn-1 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-6 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-6 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-6 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-6 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-6 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-6 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-6 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.13.1-amzn-1 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.13.1-amzn-1 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.13.1-amzn-1 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.13.1-amzn-1 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.11.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 1.3.0-amzn-1 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.5.0 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.8.0 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.7.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.3 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 5.1.3 | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 6.0.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.281-amzn-1 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.281-amzn-1 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.281-amzn-1 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 414-amzn-1 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 414-amzn-1 | いくつかのクエリを実行するサービス。 | 
| trino-client | 414-amzn-1 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.4.1-amzn-0 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.4.1-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.4.1-amzn-0 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.4.1-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 23.06.0-amzn-1 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.11.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.10.2-amzn-4 | tez YARN アプリケーションおよびライブラリ。 | 
| tez-on-worker | 0.10.2-amzn-4 | ワーカーノード用 tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 | 

## 6.13.0 設定分類
<a name="emr-6130-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.13.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-java-home | Hadoop の KMS java ホームを変更します。 | Not available. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-lakeformation | Presto の lakeformation.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-delta | Trino の delta.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Trino の exchange-manager.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Trino の hudi.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Ranger KMS の kms-logback.xml ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

## 6.13.0 変更ログ
<a name="6130-changelog"></a>


**6.13.0 リリースおよびリリースノートの変更ログ**  

| 日付 | [Event] (イベント) | 説明 | 
| --- | --- | --- | 
| 2025-09-03 | ドキュメントリビジョン | Amazon EMR 6.13.0 リリースノートに既知の問題を追加 | 
| *2023-09-23* | デプロイ完了 | Amazon EMR 6.13.0 がすべての[サポートされているリージョン](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)に完全にデプロイされました | 
| 2023-09-12 | ドキュメント公開 | Amazon EMR 6.13.0 リリースノートの初版が公開されました | 
| 2023-09-01 | 初回リリース | Amazon EMR 6.13.0 が初回商用リージョンに初めてデプロイされました | 

# Amazon EMR リリース 6.12.0
<a name="emr-6120-release"></a>

## 6.12.0 アプリケーションバージョン
<a name="emr-6120-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.12.0 | emr-6.11.1 | emr-6.11.0 | emr-6.10.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.490 | 1.12.446 | 1.12.446 | 1.12.397 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.2.0 | 2.2.0 | 2.2.0 | 
| Flink | 1.17.0 | 1.16.0 | 1.16.0 | 1.16.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-0 | 2.4.15-amzn-1.1 | 2.4.15-amzn-1 | 2.4.15-amzn-0.1 | 
| HCatalog | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 
| Hadoop | 3.3.3-amzn-4 | 3.3.3-amzn-3.1 | 3.3.3-amzn-3 | 3.3.3-amzn-2.1 | 
| Hive | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 
| Hudi | 0.13.1-amzn-0 | 0.13.0-amzn-0 | 0.13.0-amzn-0 | 0.12.2-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.10.0 | 
| Iceberg | 1.3.0-amzn-0 | 1.2.0-amzn-0 | 1.2.0-amzn-0 | 1.1.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.5.0 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.3 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.281-amzn-0 | 0.279-amzn-0 | 0.279-amzn-0 | 0.278.1-amzn-0 | 
| Spark | 3.4.0-amzn-0 | 3.3.2-amzn-0.1 | 3.3.2-amzn-0 | 3.3.1-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-3 | 0.10.2-amzn-2.1 | 0.10.2-amzn-2 | 0.10.2-amzn-1.1 | 
| Trino (PrestoSQL) | 414-amzn-0 | 410-amzn-0 | 410-amzn-0 | 403-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.12.0 リリースノート
<a name="emr-6120-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.12.0 に関する情報が含まれています。6.11.0 からの変更が含まれています。リリースタイムラインの詳細については、「[6.12.0 変更ログ](#6120-changelog)」を参照してください。

**新機能**
+ Amazon EMR 6.12.0 supports Apache Spark 3.4.0, Apache Spark RAPIDS 23.06.0-amzn-0, CUDA 11.8.0, Apache Hudi 0.13.1-amzn-0, Apache Iceberg 1.3.0-amzn-0, Trino 414, and PrestoDB 0.281.
+ Amazon EMR リリース 6.12.0 以降は、Apache Livy、HiveServer2 (HS2) 経由の Apache Hive、Trino、Presto、Hue との LDAP 統合をサポートしています。6.12.0 以降を使用する EMR クラスターに Apache Spark と Apache Hadoop をインストールし、LDAP を使用するように設定することもできます。詳細については、「[Amazon EMR での認証に Active Directory または LDAP サーバーを使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/ldap.html)」を参照してください。

**既知の問題**
+ クラスター上でインスタンスの健全性を監視するインスタンス状態スクリプトは、ノード上に大量のスレッドやオープンファイルハンドルが存在する場合、過度の CPU およびメモリリソースを消費する可能性があります。

**変更点、機能強化、解決した問題**
+  Spark 3.3.1 (EMR バージョン 6.10 以降でサポート) 以降、廃止ホスト内のすべてのエグゼキュターは *DECOMMISSIONING* 状態と呼ばれる新しい `ExecutorState` に設定されます。デコミッション中のエグゼキューターは、Yarn がタスクを割り当てるために使用することができないため、実行中のタスクに対して、必要に応じて新しいエグゼキューターをリクエストします。したがって、EMR Managed Scaling、EMR Auto Scaling、または EMR-EC2 クラスターでカスタムスケーリングメカニズムを使用しているときに Spark DRA を無効にすることにより、Yarn はジョブごとに最大許容エグゼキュターをリクエストすることがあります。この問題を回避するには、上記の機能の組み合わせを使用しているときに、`spark.dynamicAllocation.enabled` プロパティを `TRUE` (デフォルト) に設定したままにします。さらに、Spark ジョブの `spark.dynamicAllocation.maxExecutors` および `spark.dynamicAllocation.minExecutors` プロパティの値を設定して、ジョブの実行中に割り当てられるエグゼキュターの数を制限することで、エグゼキュターの最小制約と最大制約を設定することもできます。
+ Amazon EMR リリース 6.12.0 以降では、Java 11 ランタイム環境で Flink を実行できます。詳細については、「[Flink が Java 11 で実行されるよう設定する](flink-configure.md#flink-configure-java11)」を参照してください。
+ 6.12.0 リリースでは、Presto または Trino を実行する EMR クラスターのクラスタースケーリングワークフローに新しい再試行メカニズムが追加されています。この改善により、サイズ変更操作が 1 回失敗したためにクラスターのサイズ変更が無期限に停止するリスクが軽減されます。また、クラスターのスケールアップとスケールダウンが速くなるため、クラスターの使用率も向上します。
+ 6.12.0 リリースでは、正常に廃止されているコアノードが完全に廃止される前に何らかの理由で異常が発生すると、クラスターのスケールダウン操作が停止することがある問題が修正されています。
+ 6.12.0 リリースでは、クラスターのスケールダウンロジックが改善され、クラスターの HDFS レプリケーション係数設定を下回るコアノードのスケールダウンが試みられることがなくなりました。これはデータの冗長性要件に合致し、スケーリング操作が停止する可能性が低くなります。
+ 6.12.0 リリースでは、インスタンスの状態変化を記録する速度が向上し、Amazon EMR のヘルスモニタリングサービスのパフォーマンスと効率が向上します。この改善により、複数のカスタムクライアントツールやサードパーティーアプリケーションを実行しているクラスターノードのパフォーマンスが低下する可能性が低くなります。
+ 6.12.0 リリースでは、Amazon EMR のクラスター上のログ管理デーモンのパフォーマンスが向上しています。その結果、同時実行性の高いステップを実行する EMR クラスターでは、パフォーマンスが低下する可能性が低くなります。
+ Amazon EMR リリース 6.12.0 では、ログ管理デーモンがアップグレードされ、ローカルインスタンスストレージ上のオープンファイルハンドルでアクティブに使用されているすべてのログと、関連するプロセスが識別されるようになりました。このアップグレードにより、ログが Amazon S3 にアーカイブされた後に Amazon EMR がファイルを適切に削除し、ストレージスペースを再利用できるようになります。
+ 6.12.0 リリースには、ローカルクラスターファイルシステム内の空で未使用のステップディレクトリを削除するログ管理デーモンの機能強化が含まれています。空のディレクトリが多すぎると、Amazon EMR デーモンのパフォーマンスが低下し、ディスクが過剰に使用される可能性があります。
+ 6.12.0 リリースでは、YARN タイムラインサーバーのログのログローテーションが可能になります。これにより、特に長時間稼働するクラスターのディスク過剰使用シナリオが最小限に抑えられます。
+ Amazon EMR 6.10.0 以降では、デフォルトのルートボリュームサイズが 15 GB に増えました。以前のリリースでは、デフォルトのルートボリュームサイズは 10 GB でした。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-6120-release.html)

## 6.12.0 のデフォルト Java バージョン
<a name="emr-6120-jdk"></a>

Amazon EMR リリース 6.12.0 以降では、Trino を除き、Amazon Corretto 8 を使用するすべてのアプリケーションをデフォルトでサポートします。Trino の場合、Amazon EMR は Amazon EMR リリース 6.9.0 以降、デフォルトで Amazon Corretto 17 をサポートしています。Amazon EMR は Amazon Corretto 11 および 17 を使用する一部のアプリケーションもサポートしています。これらのアプリケーションのリストを以下の表に示します。クラスターのデフォルト JVM を変更する場合は、クラスター上で実行される各アプリケーションに対して「[特定の Java 仮想マシンを使用するようにアプリケーションを設定](configuring-java8.md)」の手順を実行してください。1 つのクラスターに使用できる Java ランタイムバージョンは 1 つだけです。Amazon EMR は、同じクラスター上の異なるランタイムバージョンで異なるノードやアプリケーションを実行することをサポートしていません。

Amazon EMR は Apache Spark、Apache Hadoop、および Apache Hive で Amazon Corretto 11 と 17 の両方をサポートしていますが、これらのバージョンの Corretto を使用すると、一部のワークロードでパフォーマンスが低下する可能性があります。デフォルトを変更する前に、ワークロードをテストすることをお勧めします。

次の表は、Amazon EMR 6.12.0 のアプリケーションのデフォルト Java バージョンを示しています。


| アプリケーション | Java/Amazon Corretto バージョン (デフォルトは太字) | 
| --- | --- | 
| Delta | 17、11、8 | 
| Flink | 11、8 | 
| Ganglia | 8 | 
| HBase | 11、8 | 
| HCatalog | 17、11、8 | 
| Hadoop | 17、11、8 | 
| [Hive] | 17、11、8 | 
| Hudi | 17、11、8 | 
| Iceberg | 17、11、8 | 
| Livy | 17、11、8 | 
| Oozie | 17、11、8 | 
| Phoenix | 8 | 
| PrestoDB | 8 | 
| Spark | 17、11、8 | 
| Spark RAPIDS | 17、11、8 | 
| Sqoop | 8 | 
| Tez | 17、11、8 | 
| Trino | 17 | 
| Zeppelin | 8 | 
| Pig | 8 | 
| Zookeeper | 8 | 

## 6.12.0 コンポーネントバージョン
<a name="emr-6120-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK | 
| delta | 2.4.0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 | 
| delta-standalone-connectors | 0.6.0 | Delta コネクタは、Flink、Hive、Presto などのエンジンと Delta Lake を統合するためのさまざまなランタイムを提供します。 | 
| emr-ddb | 5.1.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.5.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.9.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.26.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.5.0 | EMR S3Select コネクター | 
| emr-wal-cli | 1.1.0 | emrwal のリスト/削除に使用される CLI。 | 
| emrfs | 2.57.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.17.0 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.17.0 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.3.3-amzn-4 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-4 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.3.3-amzn-4 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.3.3-amzn-4 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-4 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.3.3-amzn-4 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.3.3-amzn-4 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.3.3-amzn-4 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-4 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-4 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-4 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.17-amzn-0 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.17-amzn-0 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.17-amzn-0 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.17-amzn-0 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.17-amzn-0 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.17-amzn-0 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-5 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-5 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-5 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-5 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-5 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-5 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-5 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.13.1-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.13.1-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.13.1-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.13.1-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.11.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 1.3.0-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.8.0 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.7.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.3 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 5.1.3 | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 6.0.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.281-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.281-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.281-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 414-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 414-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 414-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.4.0-amzn-0 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.4.0-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.4.0-amzn-0 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.4.0-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 23.06.0-amzn-0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.11.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.10.2-amzn-3 | tez YARN アプリケーションおよびライブラリ。 | 
| tez-on-worker | 0.10.2-amzn-3 | ワーカーノード用 tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 | 

## 6.12.0 設定分類
<a name="emr-6120-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.12.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-java-home | Hadoop の KMS java ホームを変更します。 | Not available. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-lakeformation | Presto の lakeformation.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-delta | Trino の delta.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Trino の exchange-manager.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Trino の hudi.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Ranger KMS の kms-logback.xml ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

## 6.12.0 変更ログ
<a name="6120-changelog"></a>


**6.12.0 リリースおよびリリースノートの変更ログ**  

| 日付 | [Event] (イベント) | 説明 | 
| --- | --- | --- | 
| 2025-09-03 | ドキュメントリビジョン | Amazon EMR 6.12.0 リリースノートに既知の問題を追加 | 
| 2023-07-27 | ドキュメントの更新 | 6.12 の Java オプションを更新し、JVM を更新するための Oozie チュートリアルを追加しました | 
| 2023-07-21 | デプロイ完了 | Amazon EMR 6.12.0 がすべての[サポートされているリージョン](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)に完全にデプロイされました | 
| 2023-07-21 | ドキュメント公開 | Amazon EMR 6.12.0 リリースノートの初版が公開されました | 
| 2023-07-12 | 初回リリース | Amazon EMR 6.12.0 が初回商用リージョンに初めてデプロイされました | 

# Amazon EMR リリース 6.11.1
<a name="emr-6111-release"></a>

## 6.11.1 アプリケーションバージョン
<a name="emr-6111-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.11.1 | emr-6.11.0 | emr-6.10.1 | emr-6.10.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.446 | 1.12.446 | 1.12.397 | 1.12.397 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 
| Flink | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.15-amzn-1.1 | 2.4.15-amzn-1 | 2.4.15-amzn-0.1 | 2.4.15-amzn-0 | 
| HCatalog | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 
| Hadoop | 3.3.3-amzn-3.1 | 3.3.3-amzn-3 | 3.3.3-amzn-2.1 | 3.3.3-amzn-2 | 
| Hive | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 
| Hudi | 0.13.0-amzn-0 | 0.13.0-amzn-0 | 0.12.2-amzn-0 | 0.12.2-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 1.2.0-amzn-0 | 1.2.0-amzn-0 | 1.1.0-amzn-0 | 1.1.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.5.0 | 1.5.0 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.279-amzn-0 | 0.279-amzn-0 | 0.278.1-amzn-0 | 0.278.1-amzn-0 | 
| Spark | 3.3.2-amzn-0.1 | 3.3.2-amzn-0 | 3.3.1-amzn-0.1 | 3.3.1-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-2.1 | 0.10.2-amzn-2 | 0.10.2-amzn-1.1 | 0.10.2-amzn-1 | 
| Trino (PrestoSQL) | 410-amzn-0 | 410-amzn-0 | 403-amzn-0 | 403-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.11.1 リリースノート
<a name="emr-6111-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.11.1 に関する情報が含まれています。6.11.0 からの変更が含まれています。リリースタイムラインの詳細については、「[6.11.1 変更ログ](#6111-changelog)」を参照してください。

**変更点、機能強化、解決した問題**
+  Spark 3.3.1 (EMR バージョン 6.10 以降でサポート) 以降、廃止ホスト内のすべてのエグゼキュターは *DECOMMISSIONING* 状態と呼ばれる新しい `ExecutorState` に設定されます。デコミッション中のエグゼキューターは、Yarn がタスクを割り当てるために使用することができないため、実行中のタスクに対して、必要に応じて新しいエグゼキューターをリクエストします。したがって、EMR Managed Scaling、EMR Auto Scaling、または EMR-EC2 クラスターでカスタムスケーリングメカニズムを使用しているときに Spark DRA を無効にすることにより、Yarn はジョブごとに最大許容エグゼキュターをリクエストすることがあります。この問題を回避するには、上記の機能の組み合わせを使用しているときに、`spark.dynamicAllocation.enabled` プロパティを `TRUE` (デフォルト) に設定したままにします。さらに、Spark ジョブの `spark.dynamicAllocation.maxExecutors` および `spark.dynamicAllocation.minExecutors` プロパティの値を設定して、ジョブの実行中に割り当てられるエグゼキュターの数を制限することで、エグゼキュターの最小制約と最大制約を設定することもできます。
+ ノードが廃止試行と同時に追加または削除されると、ロック競合が原因でデッドロックに陥る可能性があります。その結果、Hadoop Resource Manager (YARN) が応答しなくなり、着信コンテナと現在実行中のコンテナのすべてに影響が及びます。
+ このリリースには、高可用性クラスターが再起動後に障害状態から回復できるようにする変更が含まれています。
+ このリリースには Hue と HBase のセキュリティ修正が含まれています。
+ このリリースでは、Amazon EMR で Spark でワークロードを実行しているクラスターが `contains`、`startsWith`、`endsWith`、および `like` でメッセージが表示されずに間違った結果を受け取る可能性があるという問題が修正されています。この問題は、Amazon EMR Hive3 メタストアサーバー (HMS) のメタデータを含むパーティション化されたフィールドで式を使用する場合に発生します。
+ このリリースでは、ユーザー定義関数 (UDF) がない場合の Glue 側のスロットリングの問題が修正されています。
+ このリリースでは、YARN が廃止された場合に、ログプッシャーが S3 にコンテナログをプッシュする前に、ノードログ集約サービスによってコンテナログが削除される問題が修正されています。
+ このリリースでは、Hadoop でノードラベルが有効になっている場合の FairShare スケジューラメトリクスの問題が修正されています。
+ このリリースでは、`spark-defaults.conf` の `spark.yarn.heterogeneousExecutors.enabled` 設定にデフォルトの `true` 値を設定したときに Spark のパフォーマンスに影響する問題が修正されています。
+ このリリースでは、低減タスクがシャッフルデータの読み取りに失敗する問題が修正されています。この問題により、メモリ破損エラーで Hive のクエリが失敗していました。
+ このリリースでは、Presto または Trino を実行する EMR クラスターのクラスタースケーリングワークフローに新しい再試行メカニズムが追加されています。この改善により、サイズ変更操作が 1 回失敗したためにクラスターのサイズ変更が無期限に停止するリスクが軽減されます。また、クラスターのスケールアップとスケールダウンが速くなるため、クラスターの使用率も向上します。
+ このリリースでは、クラスターのスケールダウンロジックが改善され、クラスターの HDFS レプリケーション係数設定を下回るコアノードのスケールダウンが試みられることがなくなりました。これはデータの冗長性要件に合致し、スケーリング操作が停止する可能性が低くなります。
+ ログ管理デーモンがアップグレードされ、ローカルインスタンスストレージ上のオープンファイルハンドルでアクティブに使用されているすべてのログと、関連するプロセスが識別されるようになりました。このアップグレードにより、ログが Amazon S3 にアーカイブされた後に Amazon EMR がファイルを適切に削除し、ストレージスペースを再利用できるようになります。
+ このリリースには、ローカルクラスターファイルシステム内の空で未使用のステップディレクトリを削除するログ管理デーモンの機能強化が含まれています。空のディレクトリが多すぎると、Amazon EMR デーモンのパフォーマンスが低下し、ディスクが過剰に使用される可能性があります。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-6111-release.html)

## 6.11.1 コンポーネントバージョン
<a name="emr-6111-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK | 
| delta | 2.2.0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 | 
| delta-standalone-connectors | 0.6.0 | Delta コネクタは、Flink、Hive、Presto などのエンジンと Delta Lake を統合するためのさまざまなランタイムを提供します。 | 
| emr-ddb | 5.1.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.4.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.8.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.25.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.4.0 | EMR S3Select コネクター | 
| emr-wal-cli | 1.1.0 | emrwal のリスト/削除に使用される CLI。 | 
| emrfs | 2.56.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.16.0 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.16.0 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.3.3-amzn-3.1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-3.1 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.3.3-amzn-3.1 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.3.3-amzn-3.1 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-3.1 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.3.3-amzn-3.1 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.3.3-amzn-3.1 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.3.3-amzn-3.1 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-3.1 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-3.1 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-3.1 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.15-amzn-1.1 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.15-amzn-1.1 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.15-amzn-1.1 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.15-amzn-1.1 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.15-amzn-1.1 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.15-amzn-1.1 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-4.1 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-4.1 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-4.1 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-4.1 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-4.1 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-4.1 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-4.1 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.13.0-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.13.0-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.13.0-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.13.0-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.11.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 1.2.0-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.8.0 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 5.1.2 | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 6.0.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.279-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.279-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.279-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 410-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 410-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 410-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.3.2-amzn-0.1 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.3.2-amzn-0.1 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.3.2-amzn-0.1 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.3.2-amzn-0.1 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 23.02.0-amzn-0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.11.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.10.2-amzn-2.1 | tez YARN アプリケーションおよびライブラリ。 | 
| tez-on-worker | 0.10.2-amzn-2.1 | ワーカーノード用 tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 | 

## 6.11.1 設定分類
<a name="emr-6111-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.11.1 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-lakeformation | Presto の lakeformation.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-delta | Trino の delta.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Trino の exchange-manager.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Trino の hudi.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Ranger KMS の kms-logback.xml ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

## 6.11.1 変更ログ
<a name="6111-changelog"></a>


**6.11.1 リリースおよびリリースノートの変更ログ**  

| 日付 | [Event] (イベント) | 説明 | 
| --- | --- | --- | 
| 2023-08-30 | リリースノートの更新 | リリースノートにコントロールプレーン関連の修正をいくつか追加しました | 
| 2023-08-21 | ドキュメント公開 | Amazon EMR 6.11.1 リリースノートの初版が公開されました | 
| 2023-08-16 | デプロイ完了 | Amazon EMR 6.11.1 がすべての[サポートされているリージョン](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)に完全にデプロイされました | 
| 2023-08-04 | 初回リリース | Amazon EMR 6.11.1 が限定商用リージョンに初めてデプロイされました | 

# Amazon EMR リリース 6.11.0
<a name="emr-6110-release"></a>

## 6.11.0 アプリケーションバージョン
<a name="emr-6110-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.11.0 | emr-6.10.1 | emr-6.10.0 | emr-6.9.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.446 | 1.12.397 | 1.12.397 | 1.12.170 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.2.0 | 2.2.0 | 2.2.0 | 2.1.0 | 
| Flink | 1.16.0 | 1.16.0 | 1.16.0 | 1.15.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.15-amzn-1 | 2.4.15-amzn-0.1 | 2.4.15-amzn-0 | 2.4.13-amzn-0.1 | 
| HCatalog | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 
| Hadoop | 3.3.3-amzn-3 | 3.3.3-amzn-2.1 | 3.3.3-amzn-2 | 3.3.3-amzn-1.1 | 
| Hive | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 
| Hudi | 0.13.0-amzn-0 | 0.12.2-amzn-0 | 0.12.2-amzn-0 | 0.12.1-amzn-0 | 
| Hue | 4.11.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 1.2.0-amzn-0 | 1.1.0-amzn-0 | 1.1.0-amzn-0 | 0.14.1-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.4.1 | 1.5.0 | 1.5.0 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.279-amzn-0 | 0.278.1-amzn-0 | 0.278.1-amzn-0 | 0.276-amzn-0 | 
| Spark | 3.3.2-amzn-0 | 3.3.1-amzn-0.1 | 3.3.1-amzn-0 | 3.3.0-amzn-1.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.10.0 | 
| Tez | 0.10.2-amzn-2 | 0.10.2-amzn-1.1 | 0.10.2-amzn-1 | 0.10.2-amzn-0.1 | 
| Trino (PrestoSQL) | 410-amzn-0 | 403-amzn-0 | 403-amzn-0 | 398-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.11.0 リリースノート
<a name="emr-6110-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.11.0 に関する情報が含まれています。6.10.0 からの変更が含まれています。リリースタイムラインの詳細については、「[変更ログ](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-6110-release.html#6110-changelog)」を参照してください。

**新機能**
+ Amazon EMR 6.11.0 は、Apache Spark 3.3.2-amzn-0、Apache Spark RAPIDS 23.02.0-amzn-0、CUDA 11.8.0、Apache Hudi 0.13.0-amzn-0、Apache Iceberg 1.2.0-amzn-0、Trino 410-amzn-0、PrestoDB 0.279-amzn-0 をサポートしています。

**変更点、機能強化、解決した問題**
+  Spark 3.3.1 (EMR バージョン 6.10 以降でサポート) 以降、廃止ホスト内のすべてのエグゼキュターは *DECOMMISSIONING* 状態と呼ばれる新しい `ExecutorState` に設定されます。デコミッション中のエグゼキューターは、Yarn がタスクを割り当てるために使用することができないため、実行中のタスクに対して、必要に応じて新しいエグゼキューターをリクエストします。したがって、EMR Managed Scaling、EMR Auto Scaling、または EMR-EC2 クラスターでカスタムスケーリングメカニズムを使用しているときに Spark DRA を無効にすることにより、Yarn はジョブごとに最大許容エグゼキュターをリクエストすることがあります。この問題を回避するには、上記の機能の組み合わせを使用しているときに、`spark.dynamicAllocation.enabled` プロパティを `TRUE` (デフォルト) に設定したままにします。さらに、Spark ジョブの `spark.dynamicAllocation.maxExecutors` および `spark.dynamicAllocation.minExecutors` プロパティの値を設定して、ジョブの実行中に割り当てられるエグゼキュターの数を制限することで、エグゼキュターの最小制約と最大制約を設定することもできます。
+ Amazon EMR 6.11.0 では、DynamoDB コネクタがバージョン 5.0.0 にアップグレードされています。バージョン 5.0.0 では を使用します AWS SDK for Java 2.x。以前のリリースでは AWS SDK for Java 1.x が使用されていました。このアップグレードの結果として、Amazon EMR 6.11 で DynamoDB コネクタを使用する前にコードをテストすることを強くお勧めします。
+ Amazon EMR 6.11.0 の DynamoDB コネクタは、DynamoDB サービスを呼び出すとき、`dynamodb.endpoint` プロパティに指定されたリージョンの値を使用します。`dynamodb.endpoint` を使用するときに `dynamodb.region` も設定し、両方のプロパティで同じ AWS リージョンをターゲットにすることをお勧めします。を使用し`dynamodb.endpoint`、 を設定しない場合`dynamodb.region`、Amazon EMR 6.11.0 の DynamoDB コネクタは無効なリージョン例外を返し、Amazon EC2 インスタンスメタデータサービス (IMDS) からの AWS リージョン 情報の照合を試みます。コネクタが IMDS からリージョンを取得できない場合は、デフォルトで米国東部 (バージニア北部) (`us-east-1`) になります。次のエラーは、 `dynamodb.region`プロパティを適切に設定しない場合に発生する可能性のある無効なリージョン例外の例です。2.x AWS SDK for Java へのアップグレードの影響を受けるクラスの詳細については、Amazon EMR - `error software.amazon.awssdk.services.dynamodb.model.DynamoDbException: Credential should be scoped to a valid region.` DynamoDB コネクタの GitHub リポジトリの[「1.x AWS SDK for Java から 2.x (\$1175) へのアップグレード](https://github.com/awslabs/emr-dynamodb-connector/commit/1dec9d1972d3673c3fae6c6ea51f19f295147ccf)コミット」を参照してください。
+ このリリースでは、列の名前変更操作後に Delta Lake を使用して Amazon S3 に Delta テーブルデータを保存すると列データが `NULL` になる問題が修正されています。Delta Lake のこの実験的機能の詳細については、「Delta Lake User Guide」の「[Column rename operation](https://docs.delta.io/latest/delta-batch.html#rename-columns)」を参照してください。
+ 6.11.0 リリースでは、複数のプライマリノードがあるクラスターからプライマリノードの 1 つを複製してエッジノードを作成する際に発生する可能性のある問題が修正されています。複製されたエッジノードは、スケールダウン操作で遅延を引き起こしたり、プライマリノードのメモリ使用率が高くなったりする可能性があります。EMR クラスターと通信するエッジノードを作成する方法の詳細については、GitHub の `aws-samples` リポジトリにある「[Edge Node Creator](https://github.com/aws-samples/aws-emr-utilities/tree/main/utilities/emr-edge-node-creator)」を参照してください。
+ 6.11.0 リリースでは、Amazon EMR が再起動後に Amazon EBS ボリュームをインスタンスに再マウントするために使用する自動化プロセスが改善されました。
+ 6.11.0 リリースでは、Amazon EMR が Amazon CloudWatch に公開する Hadoop メトリクスに断続的なギャップが生じる問題が修正されています。
+ 6.11.0 リリースでは、クラスターのノードの除外リストを含む YARN 構成ファイルの更新が、ディスクの過剰使用により中断される EMR クラスターの問題が修正されています。更新が不完全だと、今後のクラスターのスケールダウン操作が妨げられます。このリリースでは、クラスターが正常に動作し、スケーリング操作が期待どおりに機能することが保証されます。
+ Amazon EMR 6.10.0 以降では、デフォルトのルートボリュームサイズが 15 GB に増えました。以前のリリースでは、デフォルトのルートボリュームサイズは 10 GB でした。
+ Hadoop 3.3.3 では YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) に変更が加えられ、アプリケーションが完了するまでコンテナが実行されていたノードは廃止状態のままになります。この変更により、シャッフルデータなどのローカルデータが失われることはなく、ジョブを再実行する必要もなくなります。このアプローチでは、マネージドスケーリングが有効になっているかどうかにかかわらず、クラスターのリソースが十分に活用されない可能性もあります。

  Amazon EMR リリース 6.11.0 以降および 6.8.1、6.9.1、6.10.1 では、この問題を解決するために `yarn-site.xml` の `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` の値が `false` に設定されています。

  この修正は YARN-9608 によって発生した問題を解決するものですが、マネージドスケーリングが有効になっているクラスターでのシャッフルデータ損失が原因で Hive ジョブが失敗する可能性があります。このリリースでは、Hive ワークロードにも `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data` を設定することで、このリスクを軽減しました。この設定は、Amazon EMR リリース 6.11.0 以降でのみ使用できます。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。
**注記**  
このリリースは、さらに 1 つのパッチリリースが続いているため、AMI の自動更新は行われなくなりました。パッチリリースは 2 番目の小数点の後の数字 (`6.8.1`) で示されます。最新のパッチリリースを使用しているかどうかを確認するには、「[https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide)」で利用可能なリリースを確認するか、コンソールでクラスターを作成するとき、または [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) API あるいは [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html) CLI アクションを使用するときに **Amazon EMR リリース**ドロップダウンを確認してください。新しいリリースに関する最新情報を入手するには、「[最新情報](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)」ページの RSS フィードにサブスクライブしてください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-6110-release.html)

## 6.11.0 コンポーネントバージョン
<a name="emr-6110-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK | 
| delta | 2.2.0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 | 
| delta-standalone-connectors | 0.6.0 | Delta コネクタは、Flink、Hive、Presto などのエンジンと Delta Lake を統合するためのさまざまなランタイムを提供します。 | 
| emr-ddb | 5.1.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.4.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.8.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.25.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.4.0 | EMR S3Select コネクター | 
| emr-wal-cli | 1.1.0 | emrwal のリスト/削除に使用される CLI。 | 
| emrfs | 2.56.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.16.0 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.16.0 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.3.3-amzn-3 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-3 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.3.3-amzn-3 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.3.3-amzn-3 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-3 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.3.3-amzn-3 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.3.3-amzn-3 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.3.3-amzn-3 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-3 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-3 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-3 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.15-amzn-1 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.15-amzn-1 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.15-amzn-1 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.15-amzn-1 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.15-amzn-1 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.15-amzn-1 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-4 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-4 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-4 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-4 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-4 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-4 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-4 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.13.0-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.13.0-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.13.0-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.13.0-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.11.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 1.2.0-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.8.0 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 5.1.2 | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 6.0.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.279-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.279-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.279-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 410-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 410-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 410-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.3.2-amzn-0 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.3.2-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.3.2-amzn-0 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.3.2-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 23.02.0-amzn-0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.11.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.10.2-amzn-2 | tez YARN アプリケーションおよびライブラリ。 | 
| tez-on-worker | 0.10.2-amzn-2 | ワーカーノード用 tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 | 

## 6.11.0 設定分類
<a name="emr-6110-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.11.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-lakeformation | Presto の lakeformation.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-delta | Trino の delta.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Trino の exchange-manager.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Trino の hudi.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Ranger KMS の kms-logback.xml ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

## 6.11.0 変更ログ
<a name="6110-changelog"></a>


**6.11.0 リリースおよびリリースノートの変更ログ**  

| 日付 | [Event] (イベント) | 説明 | 
| --- | --- | --- | 
| 2023-08-21 | 更新 | Hadoop 3.3.3 で発生した問題を修正しました。 | 
| 2023-07-26 | 更新 | 新しい OS リリースラベル 2.0.20230612.0 と 2.0.20230628.0。 | 
| 2023-06-09 | デプロイ完了 | Amazon EMR 6.11.0 がすべての[サポートされているリージョン](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)に完全にデプロイされました | 
| 2023-06-09 | ドキュメント公開 | Amazon EMR 6.11.0 リリースノートの初版が公開されました | 
| 2023-06-08 | 初回リリース | Amazon EMR 6.11.0 が初回商用リージョンに初めてデプロイされました | 

# Amazon EMR リリース 6.10.1
<a name="emr-6101-release"></a>

## 6.10.1 アプリケーションバージョン
<a name="emr-6101-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.10.1 | emr-6.10.0 | emr-6.9.1 | emr-6.9.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.397 | 1.12.397 | 1.12.170 | 1.12.170 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.2.0 | 2.2.0 | 2.1.0 | 2.1.0 | 
| Flink | 1.16.0 | 1.16.0 | 1.15.2 | 1.15.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.15-amzn-0.1 | 2.4.15-amzn-0 | 2.4.13-amzn-0.1 | 2.4.13-amzn-0 | 
| HCatalog | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 
| Hadoop | 3.3.3-amzn-2.1 | 3.3.3-amzn-2 | 3.3.3-amzn-1.1 | 3.3.3-amzn-1 | 
| Hive | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 
| Hudi | 0.12.2-amzn-0 | 0.12.2-amzn-0 | 0.12.1-amzn-0 | 0.12.1-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 1.1.0-amzn-0 | 1.1.0-amzn-0 | 0.14.1-amzn-0 | 0.14.1-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.5.0 | 1.5.0 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.278.1-amzn-0 | 0.278.1-amzn-0 | 0.276-amzn-0 | 0.276-amzn-0 | 
| Spark | 3.3.1-amzn-0.1 | 3.3.1-amzn-0 | 3.3.0-amzn-1.1 | 3.3.0-amzn-1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.10.0 | 2.10.0 | 
| Tez | 0.10.2-amzn-1.1 | 0.10.2-amzn-1 | 0.10.2-amzn-0.1 | 0.10.2-amzn-0 | 
| Trino (PrestoSQL) | 403-amzn-0 | 403-amzn-0 | 398-amzn-0 | 398-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.10.1 リリースノート
<a name="emr-6101-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.10.1 に関する情報が含まれています。6.10.0 からの変更が含まれています。リリースタイムラインの詳細については、「[6.10.1 変更ログ](#6101-changelog)」を参照してください。

**既知の問題**
+  Spark 3.3.1 (EMR バージョン 6.10 以降でサポート) 以降、廃止ホスト内のすべてのエグゼキュターは *DECOMMISSIONING* 状態と呼ばれる新しい `ExecutorState` に設定されます。デコミッション中のエグゼキューターは、Yarn がタスクを割り当てるために使用することができないため、実行中のタスクに対して、必要に応じて新しいエグゼキューターをリクエストします。したがって、EMR Managed Scaling、EMR Auto Scaling、または EMR-EC2 クラスターでカスタムスケーリングメカニズムを使用しているときに Spark DRA を無効にすることにより、Yarn はジョブごとに最大許容エグゼキュターをリクエストすることがあります。この問題を回避するには、上記の機能の組み合わせを使用しているときに、`spark.dynamicAllocation.enabled` プロパティを `TRUE` (デフォルト) に設定したままにします。さらに、Spark ジョブの `spark.dynamicAllocation.maxExecutors`および `spark.dynamicAllocation.minExecutors`プロパティの値を設定して、ジョブの実行中に割り当てられるエグゼキュターの数を制限することで、エグゼキュターの最小制約と最大制約を設定することもできます。

**変更点、機能強化、解決した問題**
+ ノードが廃止試行と同時に追加または削除されると、ロック競合が原因でデッドロックに陥る可能性があります。その結果、Hadoop Resource Manager (YARN) が応答しなくなり、着信コンテナと現在実行中のコンテナのすべてに影響が及びます。
+ Hadoop 3.3.3 では YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) に変更が加えられ、アプリケーションが完了するまでコンテナが実行されていたノードは廃止状態のままになります。この変更により、シャッフルデータなどのローカルデータが失われることはなく、ジョブを再実行する必要もなくなります。このアプローチでは、マネージドスケーリングが有効になっているかどうかにかかわらず、クラスターのリソースが十分に活用されない可能性もあります。

  Amazon EMR リリース 6.11.0 以降および 6.8.1、6.9.1、6.10.1 では、この問題を解決するために `yarn-site.xml` の `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` の値が `false` に設定されています。

  この修正は YARN-9608 によって発生した問題を解決するものですが、マネージドスケーリングが有効になっているクラスターでのシャッフルデータ損失が原因で Hive ジョブが失敗する可能性があります。このリリースでは、Hive ワークロードにも `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data` を設定することで、このリスクを軽減しました。この設定は、Amazon EMR リリース 6.11.0 以降でのみ使用できます。
+ インスタンスグループが設定されているクラスター内のプライマリノードのフェイルオーバー後、メトリクスコレクターはコントロールプレーンにメトリクスを送信しません。
+ このリリースには、高可用性クラスターが再起動後に障害状態から回復できるようにする変更が含まれています。
+ このリリースには Hue と HBase のセキュリティ修正が含まれています。
+ このリリースでは、Amazon EMR で Spark でワークロードを実行しているクラスターが `contains`、`startsWith`、`endsWith`、および `like` でメッセージが表示されずに間違った結果を受け取る可能性があるという問題が修正されています。この問題は、Amazon EMR Hive3 メタストアサーバー (HMS) のメタデータを含むパーティション化されたフィールドで式を使用する場合に発生します。
+ このリリースでは、ユーザー定義関数 (UDF) がない場合の Glue 側のスロットリングの問題が修正されています。
+ このリリースでは、YARN が廃止された場合に、ログプッシャーが S3 にコンテナログをプッシュする前に、ノードログ集約サービスによってコンテナログが削除される問題が修正されています。
+ このリリースでは、Hadoop でノードラベルが有効になっている場合の FairShare スケジューラメトリクスの問題が修正されています。
+ このリリースでは、`spark-defaults.conf` の `spark.yarn.heterogeneousExecutors.enabled` 設定にデフォルトの `true` 値を設定したときに Spark のパフォーマンスに影響する問題が修正されています。
+ このリリースでは、低減タスクがシャッフルデータの読み取りに失敗する問題が修正されています。この問題により、メモリ破損エラーで Hive のクエリが失敗していました。
+ このリリースでは、Presto または Trino を実行する EMR クラスターのクラスタースケーリングワークフローに新しい再試行メカニズムが追加されています。この改善により、サイズ変更操作が 1 回失敗したためにクラスターのサイズ変更が無期限に停止するリスクが軽減されます。また、クラスターのスケールアップとスケールダウンが速くなるため、クラスターの使用率も向上します。
+ このリリースでは、クラスターのスケールダウンロジックが改善され、クラスターの HDFS レプリケーション係数設定を下回るコアノードのスケールダウンが試みられることがなくなりました。これはデータの冗長性要件に合致し、スケーリング操作が停止する可能性が低くなります。
+ ログ管理デーモンがアップグレードされ、ローカルインスタンスストレージ上のオープンファイルハンドルでアクティブに使用されているすべてのログと、関連するプロセスが識別されるようになりました。このアップグレードにより、ログが Amazon S3 にアーカイブされた後に Amazon EMR がファイルを適切に削除し、ストレージスペースを再利用できるようになります。
+ このリリースには、ローカルクラスターファイルシステム内の空で未使用のステップディレクトリを削除するログ管理デーモンの機能強化が含まれています。空のディレクトリが多すぎると、Amazon EMR デーモンのパフォーマンスが低下し、ディスクが過剰に使用される可能性があります。
+ このリリースでは、複数のプライマリノードがあるクラスターからプライマリノードの 1 つを複製してエッジノードを作成する際に発生する可能性のある問題が修正されています。複製されたエッジノードは、スケールダウン操作で遅延を引き起こしたり、プライマリノードのメモリ使用率が高くなったりする可能性があります。EMR クラスターと通信するエッジノードを作成する方法の詳細については、GitHub の `aws-samples` リポジトリにある「[Edge Node Creator](https://github.com/aws-samples/aws-emr-utilities/tree/main/utilities/emr-edge-node-creator)」を参照してください。
+ このリリースでは、Amazon EMR が再起動後に Amazon EBS ボリュームをインスタンスに再マウントするために使用する自動化プロセスが改善されました。
+ このリリースでは、Amazon EMR が Amazon CloudWatch に公開する Hadoop メトリクスに断続的なギャップが生じる問題が修正されています。
+ このリリースでは、クラスターのノードの除外リストを含む YARN 構成ファイルの更新が、ディスクの過剰使用により中断される EMR クラスターの問題が修正されています。更新が不完全だと、今後のクラスターのスケールダウン操作が妨げられます。このリリースでは、クラスターが正常に動作し、スケーリング操作が期待どおりに機能することが保証されます。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-6101-release.html)

## 6.10.1 コンポーネントバージョン
<a name="emr-6101-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK | 
| delta | 2.2.0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.3.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.7.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.24.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.3.0 | EMR S3Select コネクター | 
| emr-wal-cli | 1.0.0 | emrwal のリスト/削除に使用される CLI。 | 
| emrfs | 2.55.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.16.0 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.16.0 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.3.3-amzn-2.1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-2.1 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.3.3-amzn-2.1 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.3.3-amzn-2.1 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-2.1 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.3.3-amzn-2.1 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.3.3-amzn-2.1 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.3.3-amzn-2.1 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-2.1 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-2.1 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-2.1 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.15-amzn-0.1 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.15-amzn-0.1 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.15-amzn-0.1 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.15-amzn-0.1 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.15-amzn-0.1 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.15-amzn-0.1 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-3.1 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-3.1 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-3.1 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-3.1 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-3.1 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-3.1 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-3.1 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.12.2-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.12.2-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.12.2-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.12.2-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.10.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 1.1.0-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.5.0 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.8.0 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 6.0.0-SNAPSHOT | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 6.0.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.278.1-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.278.1-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.278.1-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 403-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 403-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 403-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.3.1-amzn-0.1 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.3.1-amzn-0.1 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.3.1-amzn-0.1 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.3.1-amzn-0.1 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 22.12.0-amzn-0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.11.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.10.2-amzn-1.1 | tez YARN アプリケーションおよびライブラリ。 | 
| tez-on-worker | 0.10.2-amzn-1.1 | ワーカーノード用 tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 | 

## 6.10.1 設定分類
<a name="emr-6101-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.10.1 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-lakeformation | Presto の lakeformation.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-delta | Trino の delta.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Trino の exchange-manager.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Trino の hudi.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Ranger KMS の kms-logback.xml ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

## 6.10.1 変更ログ
<a name="6101-changelog"></a>


**6.10.1 リリースおよびリリースノートの変更ログ**  

| 日付 | [Event] (イベント) | 説明 | 
| --- | --- | --- | 
| 2023-08-30 | リリースノートの更新 | リリースノートにコントロールプレーン関連の修正をいくつか追加しました | 
| 2023-08-21 | ドキュメント公開 | Amazon EMR 6.10.1 リリースノートの初版が公開されました | 
| 2023-08-16 | デプロイ完了 | Amazon EMR 6.10.1 がすべての[サポートされているリージョン](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)に完全にデプロイされました | 
| 2023-08-04 | 初回リリース | Amazon EMR 6.10.1 が限定商用リージョンに初めてデプロイされました | 

# Amazon EMR リリース 6.10.0
<a name="emr-6100-release"></a>

## 6.10.0 アプリケーションバージョン
<a name="emr-6100-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.10.0 | emr-6.9.1 | emr-6.9.0 | emr-6.8.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.397 | 1.12.170 | 1.12.170 | 1.12.170 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.2.0 | 2.1.0 | 2.1.0 |  -  | 
| Flink | 1.16.0 | 1.15.2 | 1.15.2 | 1.15.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.15-amzn-0 | 2.4.13-amzn-0.1 | 2.4.13-amzn-0 | 2.4.12-amzn-0.1 | 
| HCatalog | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 
| Hadoop | 3.3.3-amzn-2 | 3.3.3-amzn-1.1 | 3.3.3-amzn-1 | 3.2.1-amzn-8.1 | 
| Hive | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 
| Hudi | 0.12.2-amzn-0 | 0.12.1-amzn-0 | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 1.1.0-amzn-0 | 0.14.1-amzn-0 | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.1.0 | 
| JupyterHub | 1.5.0 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.278.1-amzn-0 | 0.276-amzn-0 | 0.276-amzn-0 | 0.273.3-amzn-0 | 
| Spark | 3.3.1-amzn-0 | 3.3.0-amzn-1.1 | 3.3.0-amzn-1 | 3.3.0-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.10.0 | 2.10.0 | 2.9.1 | 
| Tez | 0.10.2-amzn-1 | 0.10.2-amzn-0.1 | 0.10.2-amzn-0 | 0.9.2 | 
| Trino (PrestoSQL) | 403-amzn-0 | 398-amzn-0 | 398-amzn-0 | 388-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.10.0 リリースノート
<a name="emr-6100-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.10.0 に関する情報が含まれています。6.9.0 からの変更が含まれています。リリースタイムラインの詳細については、「[変更ログ](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-6100-release.html#6100-changelog)」を参照してください。

**新機能**
+ Amazon EMR 6.10.0 は、Apache Spark 3.3.1、Apache Spark RAPIDS 22.12.0、CUDA 11.8.0、Apache Hudi 0.12.2-amzn-0、Apache Iceberg 1.1.0-amzn-0、Trino 403、PrestoDB 0.278.1 をサポートしています。
+ Amazon EMR 6.10.0 には、Hudi テーブル内のデータへの読み取りアクセスを提供するネイティブ Trino-Hudi コネクタが含まれています。コネクタは `trino-cli --catalog hudi` で有効化でき、`trino-connector-hudi` との要件に合わせてコネクタを設定できます。Amazon EMR とのネイティブ統合により、Hudi テーブルのクエリに `trino-connector-hive` を使用する必要がなくなりました。新しいコネクタでサポートされる設定のリストについては、Trino のドキュメントの「[Hudi connector](https://trino.io/docs/current/connector/hudi.html)」ページを参照してください。
+ Amazon EMR リリース 6.10.0 以降では、Apache Zeppelin と Apache Flink の統合がサポートされています。詳細については「[Amazon EMR の Zeppelin から Flink ジョブを操作する](flink-zeppelin.md)」を参照してください。

**既知の問題**
+ Hadoop 3.3.3 では YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) に変更が加えられ、アプリケーションが完了するまでコンテナが実行されていたノードは廃止状態のままになります。この変更により、シャッフルデータなどのローカルデータが失われることはなく、ジョブを再実行する必要もなくなります。このアプローチでは、マネージドスケーリングが有効になっているかどうかにかかわらず、クラスターのリソースが十分に活用されない可能性もあります。

  Amazon EMR 6.10.0 でこの問題を回避するには、`yarn-site.xml` の `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` の値を `false` に設定します。Amazon EMR リリース 6.11.0 以降および 6.8.1、6.9.1、6.10.1 では、この問題を解決するために設定がデフォルトで `false` にセットされています。
+  Spark 3.3.1 (EMR バージョン 6.10 以降でサポート) 以降、廃止ホスト内のすべてのエグゼキュターは *DECOMMISSIONING* 状態と呼ばれる新しい `ExecutorState` に設定されます。デコミッション中のエグゼキューターは、Yarn がタスクを割り当てるために使用することができないため、実行中のタスクに対して、必要に応じて新しいエグゼキューターをリクエストします。したがって、EMR Managed Scaling、EMR Auto Scaling、または EMR-EC2 クラスターでカスタムスケーリングメカニズムを使用しているときに Spark DRA を無効にすることにより、Yarn はジョブごとに最大許容エグゼキュターをリクエストすることがあります。この問題を回避するには、上記の機能の組み合わせを使用しているときに、`spark.dynamicAllocation.enabled` プロパティを `TRUE` (デフォルト) に設定したままにします。さらに、Spark ジョブの `spark.dynamicAllocation.maxExecutors`および `spark.dynamicAllocation.minExecutors`プロパティの値を設定して、ジョブの実行中に割り当てられるエグゼキュターの数を制限することで、エグゼキュターの最小制約と最大制約を設定することもできます。

**変更点、機能強化、解決した問題**
+ Amazon EMR 6.10.0 では、[Apache Spark 用の Amazon Redshift の統合](emr-spark-redshift-launch.md)のために `minimal-json.jar` の依存関係が削除され、必要な Spark-Redshift 関連の jar が Spark のエグゼキュータークラスパス `spark-redshift.jar`、`spark-avro.jar`、および `RedshiftJDBC.jar` に自動的に追加されます。
+ 6.10.0 リリースでは、クラスター上のログ管理デーモンが改善され、EMR クラスター内の追加のログフォルダを監視できるようになりました。この改善により、ディスクの過剰使用シナリオが最小限に抑えられます。
+ 6.10.0 リリースでは、クラスター上のログ管理デーモンが停止すると、自動的に再起動されます。この改善により、ディスクの過剰使用が原因でノードが異常に見えるリスクが軽減されます。
+ Amazon EMR 6.10.0 は EMRFS ユーザーマッピング用のリージョンのエンドポイントをサポートしています。
+ Amazon EMR 6.10.0 以降では、デフォルトのルートボリュームサイズが 15 GB に増えました。以前のリリースでは、デフォルトのルートボリュームサイズは 10 GB でした。
+ 6.10.0 リリースでは、残りのすべての Spark エグゼキューターが YARN リソースマネージャーを備えた廃止予定のホスト上にあるとき Spark ジョブが停止する問題が修正されています。
+ Amazon EMR 6.6.0 から 6.9.x では、動的パーティションと ORDER BY 句または SORT BY 句を使用した INSERT クエリには常に 2 つのリデューサーがあります。この問題は、OSS が変更された [HIVE-20703](https://issues.apache.org/jira/browse/HIVE-20703) が原因です。これにより、動的ソートパーティションの最適化がコストベースの決定下に置かれます。ワークロードで動的パーティションのソートが不要な場合は、`hive.optimize.sort.dynamic.partition.threshold` プロパティを `-1` に設定して新機能を無効にし、リデューサーの数を正しく計算することをお勧めします。この問題は、[HIVE-22269](https://issues.apache.org/jira/browse/HIVE-22269) の一部として OSS Hive で修正され、Amazon EMR 6.10.0 で修正されています。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。
**注記**  
このリリースは、さらに 1 つのパッチリリースが続いているため、AMI の自動更新は行われなくなりました。パッチリリースは 2 番目の小数点の後の数字 (`6.8.1`) で示されます。最新のパッチリリースを使用しているかどうかを確認するには、「[https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide)」で利用可能なリリースを確認するか、コンソールでクラスターを作成するとき、または [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) API あるいは [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html) CLI アクションを使用するときに **Amazon EMR リリース**ドロップダウンを確認してください。新しいリリースに関する最新情報を入手するには、「[最新情報](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)」ページの RSS フィードにサブスクライブしてください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-6100-release.html)

## 6.10.0 コンポーネントバージョン
<a name="emr-6100-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK | 
| delta | 2.2.0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.3.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.7.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.24.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.3.0 | EMR S3Select コネクター | 
| emr-wal-cli | 1.0.0 | emrwal のリスト/削除に使用される CLI。 | 
| emrfs | 2.55.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.16.0 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.16.0 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.3.3-amzn-2 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-2 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.3.3-amzn-2 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.3.3-amzn-2 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-2 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.3.3-amzn-2 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.3.3-amzn-2 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.3.3-amzn-2 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-2 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-2 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-2 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.15-amzn-0 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.15-amzn-0 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.15-amzn-0 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.15-amzn-0 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.15-amzn-0 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.15-amzn-0 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-3 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-3 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-3 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-3 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-3 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-3 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-3 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.12.2-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.12.2-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.12.2-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.12.2-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.10.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 1.1.0-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.5.0 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.8.0 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 6.0.0-SNAPSHOT | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 6.0.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.278.1-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.278.1-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.278.1-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 403-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 403-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 403-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.3.1-amzn-0 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.3.1-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.3.1-amzn-0 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.3.1-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 22.12.0-amzn-0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.11.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.10.2-amzn-1 | tez YARN アプリケーションおよびライブラリ。 | 
| tez-on-worker | 0.10.2-amzn-1 | ワーカーノード用 tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 | 

## 6.10.0 設定分類
<a name="emr-6100-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.10.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-lakeformation | Presto の lakeformation.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-delta | Trino の delta.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Trino の exchange-manager.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Trino の hudi.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Ranger KMS の kms-logback.xml ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

## 6.10.0 変更ログ
<a name="6100-changelog"></a>


**6.10.0 リリースおよびリリースノートの変更ログ**  

| 日付 | [Event] (イベント) | 説明 | 
| --- | --- | --- | 
| 2023-08-21 | 更新 | Hadoop 3.3.3 で発生した既知の問題が追加されました。 | 
| 2023-07-26 | 更新 | 新しい OS リリースラベル 2.0.20230612.0 と 2.0.20230628.0。 | 
| 2023-03-02 | デプロイ完了 | Amazon EMR 6.10 がすべての[サポートされているリージョン](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)に完全にデプロイされました | 
| 2023-03-02 | ドキュメント公開 | Amazon EMR 6.10 リリースノートの初版が公開されました | 
| 2023-02-27 | 初回リリース | Amazon EMR 6.10 が限定商用リージョンにデプロイされました | 

# Amazon EMR リリース 6.9.1
<a name="emr-691-release"></a>

## 6.9.1 アプリケーションバージョン
<a name="emr-691-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.9.1 | emr-6.9.0 | emr-6.8.1 | emr-6.8.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.1.0 | 2.1.0 |  -  |  -  | 
| Flink | 1.15.2 | 1.15.2 | 1.15.1 | 1.15.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.13-amzn-0.1 | 2.4.13-amzn-0 | 2.4.12-amzn-0.1 | 2.4.12-amzn-0 | 
| HCatalog | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 
| Hadoop | 3.3.3-amzn-1.1 | 3.3.3-amzn-1 | 3.2.1-amzn-8.1 | 3.2.1-amzn-8 | 
| Hive | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 
| Hudi | 0.12.1-amzn-0 | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 0.14.1-amzn-0 | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.276-amzn-0 | 0.276-amzn-0 | 0.273.3-amzn-0 | 0.273.3-amzn-0 | 
| Spark | 3.3.0-amzn-1.1 | 3.3.0-amzn-1 | 3.3.0-amzn-0.1 | 3.3.0-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.10.0 | 2.10.0 | 2.9.1 | 2.9.1 | 
| Tez | 0.10.2-amzn-0.1 | 0.10.2-amzn-0 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 398-amzn-0 | 398-amzn-0 | 388-amzn-0 | 388-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.9.1 リリースノート
<a name="emr-691-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.9.1 に関する情報が含まれています。6.9.0 からの変更が含まれています。リリースタイムラインの詳細については、「[6.9.1 変更ログ](#691-changelog)」を参照してください。

**変更点、機能強化、解決した問題**
+ Hadoop 3.3.3 では YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) に変更が加えられ、アプリケーションが完了するまでコンテナが実行されていたノードは廃止状態のままになります。この変更により、シャッフルデータなどのローカルデータが失われることはなく、ジョブを再実行する必要もなくなります。このアプローチでは、マネージドスケーリングが有効になっているかどうかにかかわらず、クラスターのリソースが十分に活用されない可能性もあります。

  Amazon EMR リリース 6.11.0 以降および 6.8.1、6.9.1、6.10.1 では、この問題を解決するために `yarn-site.xml` の `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` の値が `false` に設定されています。

  この修正は YARN-9608 によって発生した問題を解決するものですが、マネージドスケーリングが有効になっているクラスターでのシャッフルデータ損失が原因で Hive ジョブが失敗する可能性があります。このリリースでは、Hive ワークロードにも `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data` を設定することで、このリスクを軽減しました。この設定は、Amazon EMR リリース 6.11.0 以降でのみ使用できます。
+ インスタンスグループが設定されているクラスター内のプライマリノードのフェイルオーバー後、メトリクスコレクターはコントロールプレーンにメトリクスを送信しません。
+ このリリースでは、メトリクスコレクターのエンドポイントへの HTTP リクエストが失敗しても再試行する必要がなくなりました。
+ このリリースには、高可用性クラスターが再起動後に障害状態から回復できるようにする変更が含まれています。
+ このリリースでは、ユーザーが作成した大きな UID がオーバーフロー例外を引き起こしていた問題が修正されています。
+ このリリースでは、Amazon EMR 再構成プロセスのタイムアウトの問題が修正されています。
+ このリリースにはセキュリティ修正が含まれています。
+ このリリースでは、Amazon EMR で Spark でワークロードを実行しているクラスターが `contains`、`startsWith`、`endsWith`、および `like` でメッセージが表示されずに間違った結果を受け取る可能性があるという問題が修正されています。この問題は、Amazon EMR Hive3 メタストアサーバー (HMS) のメタデータを含むパーティション化されたフィールドで式を使用する場合に発生します。
+ Amazon EMR 6.6.0 から 6.9.x では、動的パーティションと ORDER BY 句または SORT BY 句を使用した INSERT クエリには常に 2 つのリデューサーがあります。この問題は、OSS が変更された [HIVE-20703](https://issues.apache.org/jira/browse/HIVE-20703) が原因です。これにより、動的ソートパーティションの最適化がコストベースの決定下に置かれます。ワークロードで動的パーティションのソートが不要な場合は、`hive.optimize.sort.dynamic.partition.threshold` プロパティを `-1` に設定して新機能を無効にし、リデューサーの数を正しく計算することをお勧めします。この問題は、[HIVE-22269](https://issues.apache.org/jira/browse/HIVE-22269) の一部として OSS Hive で修正され、Amazon EMR 6.10.0 で修正されています。
+ HDFS をスクラッチディレクトリとして使用し、小さいファイルのマージを有効にしていて、テーブルに静的なパーティションパスが含まれている場合、Hive でデータが失われる可能性があります。
+ このリリースでは、ETL ジョブの終了時に小さいファイルのマージ (デフォルトでは無効) が有効になっている場合の Hive のパフォーマンスの問題が修正されています。
+ このリリースでは、ユーザー定義関数 (UDF) がない場合の Glue 側のスロットリングの問題が修正されています。
+ このリリースでは、YARN が廃止された場合に、ログプッシャーが S3 にコンテナログをプッシュする前に、ノードログ集約サービスによってコンテナログが削除される問題が修正されています。
+ このリリースでは、HBase の永続的なストアファイル追跡による圧縮/アーカイブファイルの処理が修正されています。
+ このリリースでは、`spark-defaults.conf` の `spark.yarn.heterogeneousExecutors.enabled` 設定にデフォルトの `true` 値を設定したときに Spark のパフォーマンスに影響する問題が修正されています。
+ このリリースでは、低減タスクがシャッフルデータの読み取りに失敗する問題が修正されています。この問題により、メモリ破損エラーで Hive のクエリが失敗していました。
+ このリリースでは、ノード交換中に HDFS NameNode (NN) サービスがセーフモードで停止した場合に、ノードプロビジョナーが失敗する原因となっていた問題が修正されています。
+ このリリースでは、Presto または Trino を実行する EMR クラスターのクラスタースケーリングワークフローに新しい再試行メカニズムが追加されています。この改善により、サイズ変更操作が 1 回失敗したためにクラスターのサイズ変更が無期限に停止するリスクが軽減されます。また、クラスターのスケールアップとスケールダウンが速くなるため、クラスターの使用率も向上します。
+ このリリースでは、クラスターのスケールダウンロジックが改善され、クラスターの HDFS レプリケーション係数設定を下回るコアノードのスケールダウンが試みられることがなくなりました。これはデータの冗長性要件に合致し、スケーリング操作が停止する可能性が低くなります。
+ ログ管理デーモンがアップグレードされ、ローカルインスタンスストレージ上のオープンファイルハンドルでアクティブに使用されているすべてのログと、関連するプロセスが識別されるようになりました。このアップグレードにより、ログが Amazon S3 にアーカイブされた後に Amazon EMR がファイルを適切に削除し、ストレージスペースを再利用できるようになります。
+ このリリースには、ローカルクラスターファイルシステム内の空で未使用のステップディレクトリを削除するログ管理デーモンの機能強化が含まれています。空のディレクトリが多すぎると、Amazon EMR デーモンのパフォーマンスが低下し、ディスクが過剰に使用される可能性があります。
+ このリリースでは、複数のプライマリノードがあるクラスターからプライマリノードの 1 つを複製してエッジノードを作成する際に発生する可能性のある問題が修正されています。複製されたエッジノードは、スケールダウン操作で遅延を引き起こしたり、プライマリノードのメモリ使用率が高くなったりする可能性があります。EMR クラスターと通信するエッジノードを作成する方法の詳細については、GitHub の `aws-samples` リポジトリにある「[Edge Node Creator](https://github.com/aws-samples/aws-emr-utilities/tree/main/utilities/emr-edge-node-creator)」を参照してください。
+ このリリースでは、Amazon EMR が再起動後に Amazon EBS ボリュームをインスタンスに再マウントするために使用する自動化プロセスが改善されました。
+ このリリースでは、Amazon EMR が Amazon CloudWatch に公開する Hadoop メトリクスに断続的なギャップが生じる問題が修正されています。
+ このリリースでは、クラスターのノードの除外リストを含む YARN 構成ファイルの更新が、ディスクの過剰使用により中断される EMR クラスターの問題が修正されています。更新が不完全だと、今後のクラスターのスケールダウン操作が妨げられます。このリリースでは、クラスターが正常に動作し、スケーリング操作が期待どおりに機能することが保証されます。
+ このリリースでは、クラスター上のログ管理デーモンが改善され、EMR クラスター内の追加のログフォルダを監視できるようになりました。この改善により、ディスクの過剰使用シナリオが最小限に抑えられます。
+ このリリースでは、クラスター上のログ管理デーモンが停止すると、自動的に再起動されます。この改善により、ディスクの過剰使用が原因でノードが異常に見えるリスクが軽減されます。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-691-release.html)

## 6.9.1 コンポーネントバージョン
<a name="emr-691-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK | 
| delta | 2.1.0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.3.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.6.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.23.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.2.0 | EMR S3Select コネクター | 
| emrfs | 2.54.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.15.2 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.15.2 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.3.3-amzn-1.1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-1.1 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.3.3-amzn-1.1 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.3.3-amzn-1.1 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-1.1 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.3.3-amzn-1.1 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.3.3-amzn-1.1 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.3.3-amzn-1.1 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-1.1 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-1.1 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-1.1 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.13-amzn-0.1 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.13-amzn-0.1 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.13-amzn-0.1 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.13-amzn-0.1 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.13-amzn-0.1 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.13-amzn-0.1 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-2.1 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-2.1 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-2.1 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-2.1 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-2.1 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-2.1 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-2.1 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.12.1-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.12.1-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.12.1-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.12.1-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.10.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 0.14.1-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.7.0 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 6.0.0-SNAPSHOT | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 6.0.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.276-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.276-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.276-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 398-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 398-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 398-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.3.0-amzn-1.1 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.3.0-amzn-1.1 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.3.0-amzn-1.1 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.3.0-amzn-1.1 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 22.08.0-amzn-0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.10.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.10.2-amzn-0.1 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 | 

## 6.9.1 設定分類
<a name="emr-691-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.9.1 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-lakeformation | Presto の lakeformation.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-delta | Trino の delta.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Trino の exchange-manager.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

## 6.9.1 変更ログ
<a name="691-changelog"></a>


**6.9.1 リリースおよびリリースノートの変更ログ**  

| 日付 | [Event] (イベント) | 説明 | 
| --- | --- | --- | 
| 2023-08-30 | リリースノートの更新 | リリースノートにコントロールプレーン関連の修正をいくつか追加しました | 
| 2023-08-21 | ドキュメント公開 | Amazon EMR 6.9.1 リリースノートの初版が公開されました | 
| 2023-08-16 | デプロイ完了 | Amazon EMR 6.9.1 がすべての[サポートされているリージョン](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)に完全にデプロイされました | 
| 2023-08-04 | 初回リリース | Amazon EMR 6.9.1 が限定商用リージョンに初めてデプロイされました | 

# Amazon EMR リリース 6.9.0
<a name="emr-690-release"></a>

## 6.9.0 アプリケーションバージョン
<a name="emr-690-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.9.0 | emr-6.8.1 | emr-6.8.0 | emr-6.7.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.1.0 |  -  |  -  |  -  | 
| Flink | 1.15.2 | 1.15.1 | 1.15.1 | 1.14.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.13-amzn-0 | 2.4.12-amzn-0.1 | 2.4.12-amzn-0 | 2.4.4-amzn-3 | 
| HCatalog | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 
| Hadoop | 3.3.3-amzn-1 | 3.2.1-amzn-8.1 | 3.2.1-amzn-8 | 3.2.1-amzn-7 | 
| Hive | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 
| Hudi | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 0.11.0-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 0.13.1-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.8.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.276-amzn-0 | 0.273.3-amzn-0 | 0.273.3-amzn-0 | 0.272-amzn-0 | 
| Spark | 3.3.0-amzn-1 | 3.3.0-amzn-0.1 | 3.3.0-amzn-0 | 3.2.1-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.10.0 | 2.9.1 | 2.9.1 | 2.4.1 | 
| Tez | 0.10.2-amzn-0 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 398-amzn-0 | 388-amzn-0 | 388-amzn-0 | 378-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.0 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.7 | 

## 6.9.0 リリースノート
<a name="emr-690-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.9.0 に関する情報が含まれています。Amazon EMR リリース 6.8.0 からの変更が含まれています。リリースタイムラインの詳細については、「[変更ログ](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-690-release.html#690-changelog)」を参照してください。

**新機能**
+ Amazon EMR リリース 6.9.0 は、Apache Spark RAPIDS 22.08.0、Apache Hudi 0.12.1、Apache Iceberg 0.14.1、Trino 398、Tez 0.10.2 をサポートしています。
+ Amazon EMR リリース 6.9.0 には、新しいオープンソースアプリケーションである [Delta Lake](emr-delta.md) 2.1.0 が含まれています。
+ Apache Spark 用の Amazon Redshift の統合は、Amazon EMR リリース 6.9.0 以降に含まれています。以前はオープンソースツールであったこのネイティブインテグレーションは Spark コネクタと呼ばれるもので、これを使用して Apache Spark アプリケーションを構築することで、Amazon Redshift と Amazon Redshift Serverless 内のデータを読み書きできます。詳細については、「[Amazon EMR での Apache Spark 用の Amazon Redshift インテグレーションの使用](emr-spark-redshift.md)」を参照してください。
+ Amazon EMR リリース 6.9.0 では、クラスターのスケールダウン中に Amazon S3 にログをアーカイブするためのサポートが追加されています。以前は、Amazon S3 にログファイルをアーカイブできるのはクラスター終了時のみでした。この新機能により、クラスターで生成されたログファイルは、ノードが終了した後も Amazon S3 に残ります。詳細については、「[クラスターのログ記録とデバッグを設定する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html)」を参照してください。
+ 長時間実行されるクエリをサポートするため、Trino には耐障害性実行メカニズムが組み込まれました。耐障害性実行では、失敗したクエリやそのコンポーネントタスクを再試行することで、クエリの失敗を軽減します。
+ Amazon EMR で Apache Flink を使用して、Apache Hive テーブル、または Iceberg、Kinesis、Kafka などの任意の Flink テーブルソースのメタデータの `BATCH` 処理と `STREAM` 処理を統合することができます。、、または Amazon EMR API を使用して AWS マネジメントコンソール AWS CLI、 AWS Glue データカタログを Flink のメタストアとして指定できます。詳細については、「[Amazon EMR で Flink を設定する](flink-configure.md)」を参照してください。
+ Amazon SageMaker AI Studio を使用してEC2 クラスター上の Amazon EMR で Apache Spark、Apache Hive、Presto クエリに AWS Identity and Access Management (IAM) ランタイムロールと AWS Lake Formationベースのアクセスコントロールを指定できるようになりました。詳細については、「[Configure runtime roles for Amazon EMR steps](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-steps-runtime-roles.html)」を参照してください。

**既知の問題**
+ Amazon EMR リリース 6.9.0 では、Apache Ranger が有効になっているクラスターでは Trino は動作しません。Ranger で Trino を使用する必要がある場合は、[サポート](https://console.aws.amazon.com/support/home#/) にお問い合わせください。
+ Amazon Redshift integration for Apache Spark を使用している場合に、time、timetz、timestamp、timestamptz のいずれかにマイクロ秒の精度を Parquet 形式で設定していると、コネクタがその時間値を最も近いミリ秒値に四捨五入します。回避策として、テキストアンロード形式 `unload_s3_format` パラメータを使用してください。
+ Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
  + 同じテーブルから 2 つ以上のパーティションがスキャンされます。
  + 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、`s3://bucket/table/p=a` は `s3://bucket/table/p=a b` のプレフィックスです。
  + 他のパーティションディレクトリのプレフィックスに続く最初の文字が、`/` 文字 (U\$1002F) より小さい UTF-8 値を持ちます。例えば、`s3://bucket/table/p=a b` の a と b の間にあるスペース文字 (U\$10020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: `!"#$%&‘()*+,-`。詳細については、「[UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)」を参照してください。

  この問題の回避策として、`spark-defaults` 分類の `spark.sql.sources.fastS3PartitionDiscovery.enabled` 設定を `false` にセットします。
+ Amazon SageMaker AI Studio から Amazon EMR クラスターへの接続は、**403 Forbidden** レスポンスコードで断続的に失敗することがあります。このエラーは、クラスターでの IAM ロールの設定に 60 秒以上かかる場合に発生します。回避策として、Amazon EMR パッチをインストールして再試行を有効にし、タイムアウトを最低 300 秒に増やすことができます。以下の手順を使用して、クラスターの起動時にブートストラップアクションを適用します。

  1.  次の Amazon S3 URI から、ブートストラップスクリプトと RPM ファイルをダウンロードします。

     ```
     s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/gcsc/replace-rpms.sh
     s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/gcsc/emr-secret-agent-1.18.0-SNAPSHOT20221121212949.noarch.rpm
     ```

  1. 前のステップのファイルを、所有する Amazon S3 バケットにアップロードします。バケットは、クラスターを起動する予定 AWS リージョン と同じ にある必要があります。

  1. EMR クラスターを起動するときに、次のブートストラップアクションを含めます。*bootstrap\$1URI* と *RPM\$1URI* を Amazon S3 の対応する URI に置き換えます。

     ```
     --bootstrap-actions "Path=bootstrap_URI,Args=[RPM_URI]"
     ```
+ Amazon EMR リリース 5.36.0、および 6.6.0 から 6.9.0 では、Log4j2 プロパティのファイル名パターン設定が正しくないため、`SecretAgent` および `RecordServer` サービスコンポーネントでログデータが失われる可能性があります。設定が正しくないと、コンポーネントは 1 日に 1 つのログファイルしか生成しません。ローテーション戦略が実行されると、期待どおりに新しいログファイルが生成されず、既存のファイルが上書きされます。回避策として、ブートストラップアクションを使用して 1 時間ごとにログファイルを生成し、ファイル名に自動増分整数を追加してローテーションを処理します。

  Amazon EMR 6.6.0 から 6.9.0 のリリースでは、クラスターを起動するときに次のブートストラップアクションを使用します。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  Amazon EMR 5.36.0 では、クラスターを起動するときに次のブートストラップアクションを使用します。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```
+ Apache Flink にはネイティブ S3 FileSystem コネクタと Hadoop FileSystem コネクタが用意されており、アプリケーションが FileSink を作成して Amazon S3 にデータを書き込むことができます。この FileSink は、次の 2 つの例外のいずれかにより失敗します。

  ```
  java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS
  ```

  ```
  Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryPolicies.retryOtherThanRemoteAndSaslException(Lorg/apache/hadoop/io/retry/RetryPolicy;Ljava/util/Map;)Lorg/apache/hadoop/io/retry/RetryPolicy;
                                          at org.apache.hadoop.yarn.client.RMProxy.createRetryPolicy(RMProxy.java:302) ~[hadoop-yarn-common-3.3.3-amzn-0.jar:?]
  ```

  回避策として、Flink の上記の問題を修正する Amazon EMR パッチをインストールできます。クラスターを起動するときにブートストラップアクションを適用するには、以下の手順を実行します。

  1. flink-rpm を Amazon S3 バケットにダウンロードします。RPM パスは `s3://DOC-EXAMPLE-BUCKET/rpms/flink/` です。

  1. 次の URI を使用して Amazon S3 からブートストラップスクリプトと RPM ファイルをダウンロードします。を、クラスターを起動する AWS リージョン 予定の `regionName`に置き換えます。

     ```
     s3://emr-data-access-control-regionName/customer-bootstrap-actions/gcsc/replace-rpms.sh
     ```

  1. Hadoop 3.3.3 では YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) に変更が加えられ、アプリケーションが完了するまでコンテナが実行されていたノードは廃止状態のままになります。この変更により、シャッフルデータなどのローカルデータが失われることはなく、ジョブを再実行する必要もなくなります。Amazon EMR 6.8.0 および 6.9.0 の場合、この方法では、マネージドスケーリングが有効になっているかどうかにかかわらず、クラスターのリソースが十分に活用されない可能性もあります。

     [Amazon EMR 6.10.0](emr-6100-release.md#emr-6100-relnotes) では、`yarn-site.xml` の `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` の値を `false` に設定することでこの問題を回避できます。Amazon EMR リリース 6.11.0 以降および 6.8.1、6.9.1、6.10.1 では、この問題を解決するために設定がデフォルトで `false` にセットされています。

**変更、拡張、解決した問題**
+ Amazon EMR リリース 6.9.0 以降では、Amazon EMR によってインストールされ、Log4j ライブラリを使用するすべてのコンポーネントは Log4j バージョン 2.17.1 以降を使用します。
+ Spark on Amazon EMR バージョン 6.6.0、6.7.0、6.8.0 で DynamoDB コネクタを使用すると、テーブルから何を読み込んでも空の結果が返されます。この状況は、入力分割が空でないデータを参照している場合でも変わりません。Amazon EMR リリース 6.9.0 では、この問題が修正されています。
+ Amazon EMR 6.9.0 では、Spark SQL を使用してデータを読み取る際の Apache Hudi による Lake Formation ベースのアクセスコントロールに対する限定的なサポートが追加されています。Spark SQL を使用する SELECT クエリがサポートされます。サポートは、列レベルのアクセス制御に限定されます。詳細については、「[Hudi と Lake Formation](https://docs.aws.amazon.com/emr/latest/ManagementGuide/hudi-with-lake-formation.html)」を参照してください。
+ Amazon EMR 6.9.0 を使用して、[ノードラベル](https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/NodeLabel.html)を有効にした Hadoop クラスターを作成すると、[YARN メトリクス API](https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Metrics_API) はデフォルトのパーティションではなく、すべてのパーティションの集計情報を返します。詳細については、「[YARN-11414](https://issues.apache.org/jira/browse/YARN-11414)」を参照してください。
+ Amazon EMR リリース 6.9.0 では、Trino を、Java 17 を使用するバージョン 398 にアップデートしました。Amazon EMR 6.8.0 で以前サポートされていた Trino のバージョンは Java 11 で動作する Trino 388 でした。この変更の詳細については、Trino のブログの「[Trino updates to Java 17](https://trino.io/blog/2022/07/14/trino-updates-to-java-17.html)」を参照してください。
+ このリリースでは、EC2 クラスターの起動シーケンスでの Apache BigTop と Amazon EMR 間のタイミングシーケンスの不一致の問題が修正されています。このタイミングシーケンスの不一致は、システムが 2 つ以上の操作を適切なシーケンスで実行するのではなく、同時に実行しようとした場合に発生します。その結果、特定のクラスター構成でインスタンスの起動がタイムアウトし、クラスターの起動時間が遅くなりました。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。
**注記**  
このリリースは、さらに 1 つのパッチリリースが続いているため、AMI の自動更新は行われなくなりました。パッチリリースは 2 番目の小数点の後の数字 (`6.8.1`) で示されます。最新のパッチリリースを使用しているかどうかを確認するには、「[https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide)」で利用可能なリリースを確認するか、コンソールでクラスターを作成するとき、または [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) API あるいは [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html) CLI アクションを使用するときに **Amazon EMR リリース**ドロップダウンを確認してください。新しいリリースに関する最新情報を入手するには、「[最新情報](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)」ページの RSS フィードにサブスクライブしてください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-690-release.html)

## 6.9.0 コンポーネントバージョン
<a name="emr-690-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK | 
| delta | 2.1.0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.3.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.6.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.23.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.2.0 | EMR S3Select コネクター | 
| emrfs | 2.54.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.15.2 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.15.2 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.3.3-amzn-1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-1 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.3.3-amzn-1 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.3.3-amzn-1 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-1 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.3.3-amzn-1 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.3.3-amzn-1 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.3.3-amzn-1 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-1 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-1 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-1 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.13-amzn-0 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.13-amzn-0 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.13-amzn-0 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.13-amzn-0 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.13-amzn-0 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.13-amzn-0 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-2 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-2 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-2 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-2 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-2 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-2 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-2 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.12.1-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.12.1-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.12.1-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.12.1-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.10.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 0.14.1-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.7.0 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 6.0.0-SNAPSHOT | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 6.0.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.276-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.276-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.276-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 398-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 398-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 398-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.3.0-amzn-1 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.3.0-amzn-1 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.3.0-amzn-1 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.3.0-amzn-1 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 22.08.0-amzn-0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.10.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.10.2-amzn-0 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 | 

## 6.9.0 設定分類
<a name="emr-690-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.9.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-lakeformation | Presto の lakeformation.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-delta | Trino の delta.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Trino の exchange-manager.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

## 6.9.0 変更ログ
<a name="690-changelog"></a>


**6.9.0 リリースおよびリリースノートの変更ログ**  

| 日付 | [Event] (イベント) | 説明 | 
| --- | --- | --- | 
| 2023-08-30 | リリースノートの更新 | タイミングシーケンスの不一致の問題の修正が追加されました。 | 
| 2023-08-21 | リリースノートの更新 | Hadoop 3.3.3 に関する既知の問題が追加されました。 | 
| 2023-07-26 | 更新 | 新しい OS リリースラベル 2.0.20230612.0 と 2.0.20230628.0。 | 
| 2022-12-13 | リリースノートが更新されました | SageMaker AI でのランタイムに関する機能と既知の問題が追加されました | 
| 2022-11-29 | リリースノートとドキュメントが更新されました | Apache Spark 用の Amazon Redshift の統合の機能が追加されました | 
| 2022-11-23 | リリースノートが更新されました | Log4j エントリが削除されました | 
| 2022-11-18 | デプロイ完了 | Amazon EMR 6.9 がすべての[サポートされているリージョン](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)に完全にデプロイされました | 
| 2022-11-18 | ドキュメント公開 | Amazon EMR 6.9 リリースノートの初版が公開されました | 
| 2022-11-14 | 初回リリース | Amazon EMR 6.9 が限定商用リージョンにデプロイされました | 

# Amazon EMR リリース 6.8.1
<a name="emr-681-release"></a>

## 6.8.1 アプリケーションバージョン
<a name="emr-681-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.8.1 | emr-6.8.0 | emr-6.7.0 | emr-6.6.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.15.1 | 1.15.1 | 1.14.2 | 1.14.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.12-amzn-0.1 | 2.4.12-amzn-0 | 2.4.4-amzn-3 | 2.4.4-amzn-2 | 
| HCatalog | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 
| Hadoop | 3.2.1-amzn-8.1 | 3.2.1-amzn-8 | 3.2.1-amzn-7 | 3.2.1-amzn-6 | 
| Hive | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 
| Hudi | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 0.13.1-amzn-0 | 0.13.1 | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.8.0 | 1.8.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.273.3-amzn-0 | 0.273.3-amzn-0 | 0.272-amzn-0 | 0.267-amzn-0 | 
| Spark | 3.3.0-amzn-0.1 | 3.3.0-amzn-0 | 3.2.1-amzn-0 | 3.2.0-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.9.1 | 2.9.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 388-amzn-0 | 388-amzn-0 | 378-amzn-0 | 367-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.0 | 0.10.0 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.7 | 3.5.7 | 

## 6.8.1 リリースノート
<a name="emr-681-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.8.1 に関する情報が含まれています。6.8.0 からの変更が含まれています。リリースタイムラインの詳細については、「[6.8.1 変更ログ](#681-changelog)」を参照してください。

**変更点、機能強化、解決した問題**
+ Hadoop 3.3.3 では YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) に変更が加えられ、アプリケーションが完了するまでコンテナが実行されていたノードは廃止状態のままになります。この変更により、シャッフルデータなどのローカルデータが失われることはなく、ジョブを再実行する必要もなくなります。このアプローチでは、マネージドスケーリングが有効になっているかどうかにかかわらず、クラスターのリソースが十分に活用されない可能性もあります。

  Amazon EMR リリース 6.11.0 以降および 6.8.1、6.9.1、6.10.1 では、この問題を解決するために `yarn-site.xml` の `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` の値が `false` に設定されています。

  この修正は YARN-9608 によって発生した問題を解決するものですが、マネージドスケーリングが有効になっているクラスターでのシャッフルデータ損失が原因で Hive ジョブが失敗する可能性があります。このリリースでは、Hive ワークロードにも `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data` を設定することで、このリスクを軽減しました。この設定は、Amazon EMR リリース 6.11.0 以降でのみ使用できます。
+ インスタンスグループが設定されているクラスター内のプライマリノードのフェイルオーバー後、メトリクスコレクターはコントロールプレーンにメトリクスを送信しません。
+ このリリースでは、メトリクスコレクターのエンドポイントへの HTTP リクエストが失敗しても再試行する必要がなくなりました。
+ このリリースには、高可用性クラスターが再起動後に障害状態から回復できるようにする変更が含まれています。
+ このリリースでは、ユーザーが作成した大きな UID がオーバーフロー例外を引き起こしていた問題が修正されています。
+ このリリースでは、Amazon EMR 再構成プロセスのタイムアウトの問題が修正されています。
+ このリリースでは、再構成に失敗したために他の無関係なプロセスが中断される可能性があるという問題が防止されます。
+ このリリースにはセキュリティ修正が含まれています。
+ このリリースでは、Amazon EMR で Spark でワークロードを実行しているクラスターが `contains`、`startsWith`、`endsWith`、および `like` でメッセージが表示されずに間違った結果を受け取る可能性があるという問題が修正されています。この問題は、Amazon EMR Hive3 メタストアサーバー (HMS) のメタデータを含むパーティション化されたフィールドで式を使用する場合に発生します。
+ Amazon EMR 6.6.0 から 6.9.x では、動的パーティションと ORDER BY 句または SORT BY 句を使用した INSERT クエリには常に 2 つのリデューサーがあります。この問題は、OSS が変更された [HIVE-20703](https://issues.apache.org/jira/browse/HIVE-20703) が原因です。これにより、動的ソートパーティションの最適化がコストベースの決定下に置かれます。ワークロードで動的パーティションのソートが不要な場合は、`hive.optimize.sort.dynamic.partition.threshold` プロパティを `-1` に設定して新機能を無効にし、リデューサーの数を正しく計算することをお勧めします。この問題は、[HIVE-22269](https://issues.apache.org/jira/browse/HIVE-22269) の一部として OSS Hive で修正され、Amazon EMR 6.10.0 で修正されています。
+ HDFS をスクラッチディレクトリとして使用し、小さいファイルのマージを有効にしていて、テーブルに静的なパーティションパスが含まれている場合、Hive でデータが失われる可能性があります。
+ このリリースでは、ETL ジョブの終了時に小さいファイルのマージ (デフォルトでは無効) が有効になっている場合の Hive のパフォーマンスの問題が修正されています。
+ このリリースでは、ユーザー定義関数 (UDF) がない場合の Glue 側のスロットリングの問題が修正されています。
+ このリリースでは、YARN が廃止された場合に、ログプッシャーが S3 にコンテナログをプッシュする前に、ノードログ集約サービスによってコンテナログが削除される問題が修正されています。
+ このリリースでは、HBase の永続的なストアファイル追跡による圧縮/アーカイブファイルの処理が修正されています。
+ このリリースでは、`spark-defaults.conf` の `spark.yarn.heterogeneousExecutors.enabled` 設定にデフォルトの `true` 値を設定したときに Spark のパフォーマンスに影響する問題が修正されています。
+ このリリースでは、低減タスクがシャッフルデータの読み取りに失敗する問題が修正されています。この問題により、メモリ破損エラーで Hive のクエリが失敗していました。
+ このリリースでは、ノード交換中に HDFS NameNode (NN) サービスがセーフモードで停止した場合に、ノードプロビジョナーが失敗する原因となっていた問題が修正されています。
+ このリリースでは、Presto または Trino を実行する EMR クラスターのクラスタースケーリングワークフローに新しい再試行メカニズムが追加されています。この改善により、サイズ変更操作が 1 回失敗したためにクラスターのサイズ変更が無期限に停止するリスクが軽減されます。また、クラスターのスケールアップとスケールダウンが速くなるため、クラスターの使用率も向上します。
+ このリリースでは、クラスターのスケールダウンロジックが改善され、クラスターの HDFS レプリケーション係数設定を下回るコアノードのスケールダウンが試みられることがなくなりました。これはデータの冗長性要件に合致し、スケーリング操作が停止する可能性が低くなります。
+ ログ管理デーモンがアップグレードされ、ローカルインスタンスストレージ上のオープンファイルハンドルでアクティブに使用されているすべてのログと、関連するプロセスが識別されるようになりました。このアップグレードにより、ログが Amazon S3 にアーカイブされた後に Amazon EMR がファイルを適切に削除し、ストレージスペースを再利用できるようになります。
+ このリリースには、ローカルクラスターファイルシステム内の空で未使用のステップディレクトリを削除するログ管理デーモンの機能強化が含まれています。空のディレクトリが多すぎると、Amazon EMR デーモンのパフォーマンスが低下し、ディスクが過剰に使用される可能性があります。
+ このリリースでは、複数のプライマリノードがあるクラスターからプライマリノードの 1 つを複製してエッジノードを作成する際に発生する可能性のある問題が修正されています。複製されたエッジノードは、スケールダウン操作で遅延を引き起こしたり、プライマリノードのメモリ使用率が高くなったりする可能性があります。EMR クラスターと通信するエッジノードを作成する方法の詳細については、GitHub の `aws-samples` リポジトリにある「[Edge Node Creator](https://github.com/aws-samples/aws-emr-utilities/tree/main/utilities/emr-edge-node-creator)」を参照してください。
+ このリリースでは、Amazon EMR が再起動後に Amazon EBS ボリュームをインスタンスに再マウントするために使用する自動化プロセスが改善されました。
+ このリリースでは、Amazon EMR が Amazon CloudWatch に公開する Hadoop メトリクスに断続的なギャップが生じる問題が修正されています。
+ このリリースでは、クラスターのノードの除外リストを含む YARN 構成ファイルの更新が、ディスクの過剰使用により中断される EMR クラスターの問題が修正されています。更新が不完全だと、今後のクラスターのスケールダウン操作が妨げられます。このリリースでは、クラスターが正常に動作し、スケーリング操作が期待どおりに機能することが保証されます。
+ このリリースでは、クラスター上のログ管理デーモンが改善され、EMR クラスター内の追加のログフォルダを監視できるようになりました。この改善により、ディスクの過剰使用シナリオが最小限に抑えられます。
+ このリリースでは、クラスター上のログ管理デーモンが停止すると、自動的に再起動されます。この改善により、ディスクの過剰使用が原因でノードが異常に見えるリスクが軽減されます。
+ このリリースでは、クラスターのスケールダウン中に Amazon S3 にログをアーカイブするためのサポートが追加されています。以前は、Amazon S3 にログファイルをアーカイブできるのはクラスター終了時のみでした。この新機能により、クラスターで生成されたログファイルは、ノードが終了した後も Amazon S3 に残ります。詳細については、「[クラスターのログ記録とデバッグを設定する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html)」を参照してください。
+ このリリースでは、ブートストラップアクションの Amazon S3 URI がポート番号で終わっている場合 (例: `a.b.c.d:4345`) に発生する問題が修正されています。Amazon EMR は、このような URI を誤って解析していたため、関連するブートストラップアクションはすべて失敗していました。
+ このリリースでは、EC2 クラスターの起動シーケンスでの Apache BigTop と Amazon EMR 間のタイミングシーケンスの不一致の問題が修正されています。このタイミングシーケンスの不一致は、システムが 2 つ以上の操作を適切なシーケンスで実行するのではなく、同時に実行しようとした場合に発生します。その結果、特定のクラスター構成でインスタンスの起動がタイムアウトし、クラスターの起動時間が遅くなりました。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-681-release.html)

## 6.8.1 コンポーネントバージョン
<a name="emr-681-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.2.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.22.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.1.0 | EMR S3Select コネクター | 
| emrfs | 2.53.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.15.1 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.15.1 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-8.1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-8.1 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-8.1 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-8.1 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-8.1 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-8.1 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-8.1 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-8.1 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-8.1 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-8.1 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-8.1 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.12-amzn-0.1 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.12-amzn-0.1 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.12-amzn-0.1 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.12-amzn-0.1 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.12-amzn-0.1 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.12-amzn-0.1 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-1.1 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-1.1 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-1.1 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-1.1 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-1.1 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-1.1 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-1.1 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.11.1-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.11.1-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.11.1-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.11.1-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.10.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 0.14.0-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.7.0 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 5.1.2 | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 5.1.2 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.273.3-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.273.3-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.273.3-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 388-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 388-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 388-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.3.0-amzn-0.1 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.3.0-amzn-0.1 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.3.0-amzn-0.1 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.3.0-amzn-0.1 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 22.06.0-amzn-0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.9.1 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 | 

## 6.8.1 設定分類
<a name="emr-681-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.8.1 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

## 6.8.1 変更ログ
<a name="681-changelog"></a>


**6.8.1 リリースおよびリリースノートの変更ログ**  

| 日付 | [Event] (イベント) | 説明 | 
| --- | --- | --- | 
| 2023-08-30 | リリースノートの更新 | リリースノートにコントロールプレーン関連の修正をいくつか追加しました | 
| 2023-08-21 | ドキュメント公開 | Amazon EMR 6.8.1 リリースノートの初版が公開されました | 
| 2023-08-16 | デプロイ完了 | Amazon EMR 6.8.1 がすべての[サポートされているリージョン](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)に完全にデプロイされました | 
| 2023-08-04 | 初回リリース | Amazon EMR 6.8.1 が限定商用リージョンに初めてデプロイされました | 

# Amazon EMR リリース 6.8.0
<a name="emr-680-release"></a>

## 6.8.0 アプリケーションバージョン
<a name="emr-680-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.8.0 | emr-6.7.0 | emr-6.6.0 | emr-6.5.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.31 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.15.1 | 1.14.2 | 1.14.2 | 1.14.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.12-amzn-0 | 2.4.4-amzn-3 | 2.4.4-amzn-2 | 2.4.4-amzn-1 | 
| HCatalog | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 
| Hadoop | 3.2.1-amzn-8 | 3.2.1-amzn-7 | 3.2.1-amzn-6 | 3.2.1-amzn-5 | 
| Hive | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 
| Hudi | 0.11.1-amzn-0 | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.9.0 | 
| Iceberg | 0.14.0-amzn-0 | 0.13.1-amzn-0 | 0.13.1 | 0.12.0 | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.8.0 | 1.8.0 | 1.8.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.273.3-amzn-0 | 0.272-amzn-0 | 0.267-amzn-0 | 0.261-amzn-0 | 
| Spark | 3.3.0-amzn-0 | 3.2.1-amzn-0 | 3.2.0-amzn-0 | 3.1.2-amzn-1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.9.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 388-amzn-0 | 378-amzn-0 | 367-amzn-0 | 360 | 
| Zeppelin | 0.10.1 | 0.10.0 | 0.10.0 | 0.10.0 | 
| ZooKeeper | 3.5.10 | 3.5.7 | 3.5.7 | 3.5.7 | 

## 6.8.0 リリースノート
<a name="emr-680-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.8.0 に関する情報が含まれています。6.7.0 からの変更が含まれています。

**新機能**
+ Amazon EMR ステップ機能が Apache Livy エンドポイントと JDBC/ODBC クライアントをサポートするようになりました。詳細については、「[Configure runtime roles for Amazon EMR steps](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-steps-runtime-roles.html)」を参照してください。
+ Amazon EMR リリース 6.8.0 には Apache HBase リリース 2.4.12 が付属しています。この HBase リリースでは、HBase テーブルのアーカイブと削除の両方を行うことができます。Amazon S3 アーカイブプロセスでは、すべてのテーブルファイルの名前がアーカイブディレクトリに変更されます。このプロセスにはコストがかかり、時間を要する場合があります。これで、アーカイブプロセスをスキップして、大きなテーブルをすばやく削除することができます。詳細については、「[HBase シェルを使用する](emr-hbase-connect.md)」を参照してください。

**既知の問題**
+ Hadoop 3.3.3 では YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) に変更が加えられ、アプリケーションが完了するまでコンテナが実行されていたノードは廃止状態のままになります。この変更により、シャッフルデータなどのローカルデータが失われることはなく、ジョブを再実行する必要もなくなります。Amazon EMR 6.8.0 および 6.9.0 の場合、この方法では、マネージドスケーリングが有効になっているかどうかにかかわらず、クラスターのリソースが十分に活用されない可能性もあります。

  [Amazon EMR 6.10.0](emr-6100-release.md#emr-6100-relnotes) では、`yarn-site.xml` の `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` の値を `false` に設定することでこの問題を回避できます。Amazon EMR リリース 6.11.0 以降および 6.8.1、6.9.1、6.10.1 では、この問題を解決するために設定がデフォルトで `false` にセットされています。

**変更、拡張、解決した問題**
+ Amazon EMR リリース 6.5.0、6.6.0、または 6.7.0 が Apache Spark シェルを介して Apache Phoenix テーブルを読み取ると、Amazon EMR は `NoSuchMethodError` を生成しました。Amazon EMR リリース 6.8.0 では、この問題が修正されています。
+ Amazon EMR リリース 6.8.0 には [Apache Hudi](https://hudi.apache.org/) 0.11.1 が付属していますが、Amazon EMR 6.8.0 クラスターは Hudi 0.12.0 のオープンソース `hudi-spark3.3-bundle_2.12` とも互換性があります。
+ Amazon EMR リリース 6.8.0 には、Apache Spark 3.3.0 が付属しています。この Spark リリースでは、Apache Log4j 2 と `log4j2.properties` ファイルを使用して Spark プロセス内の Log4j を設定します。クラスターで Spark を使用するか、カスタム設定パラメータを使用して EMR クラスターを作成し、Amazon EMR リリース 6.8.0 にアップグレードする場合は、Apache Log4j 2 の新しい `spark-log4j2` 設定分類とキー形式に移行する必要があります。詳細については、「[Apache Log4j 1.x から Log4j 2.x への移行](emr-spark-configure.md#spark-migrate-logj42)」を参照してください。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。
**注記**  
このリリースは、さらに 1 つのパッチリリースが続いているため、AMI の自動更新は行われなくなりました。パッチリリースは 2 番目の小数点の後の数字 (`6.8.1`) で示されます。最新のパッチリリースを使用しているかどうかを確認するには、「[https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide)」で利用可能なリリースを確認するか、コンソールでクラスターを作成するとき、または [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) API あるいは [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html) CLI アクションを使用するときに **Amazon EMR リリース**ドロップダウンを確認してください。新しいリリースに関する最新情報を入手するには、「[最新情報](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)」ページの RSS フィードにサブスクライブしてください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-680-release.html)

**既知の問題**
+ Spark on Amazon EMR バージョン 6.6.0、6.7.0、6.8.0 で DynamoDB コネクタを使用すると、テーブルから何を読み込んでも空の結果が返されます。この状況は、入力分割が空でないデータを参照している場合でも変わりません。これは、Spark 3.2.0 が `spark.hadoopRDD.ignoreEmptySplits` をデフォルトで `true` に設定しているためです。回避策として、明示的に `spark.hadoopRDD.ignoreEmptySplits` を `false` に設定します。Amazon EMR リリース 6.9.0 では、この問題が修正されています。
+ Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
  + 同じテーブルから 2 つ以上のパーティションがスキャンされます。
  + 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、`s3://bucket/table/p=a` は `s3://bucket/table/p=a b` のプレフィックスです。
  + 他のパーティションディレクトリのプレフィックスに続く最初の文字が、`/` 文字 (U\$1002F) より小さい UTF-8 値を持ちます。例えば、`s3://bucket/table/p=a b` の a と b の間にあるスペース文字 (U\$10020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: `!"#$%&‘()*+,-`。詳細については、「[UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)」を参照してください。

  この問題の回避策として、`spark-defaults` 分類の `spark.sql.sources.fastS3PartitionDiscovery.enabled` 設定を `false` にセットします。
+ Amazon EMR リリース 5.36.0、および 6.6.0 から 6.9.0 では、Log4j2 プロパティのファイル名パターン設定が正しくないため、`SecretAgent` および `RecordServer` サービスコンポーネントでログデータが失われる可能性があります。設定が正しくないと、コンポーネントは 1 日に 1 つのログファイルしか生成しません。ローテーション戦略が実行されると、期待どおりに新しいログファイルが生成されず、既存のファイルが上書きされます。回避策として、ブートストラップアクションを使用して 1 時間ごとにログファイルを生成し、ファイル名に自動増分整数を追加してローテーションを処理します。

  Amazon EMR 6.6.0 から 6.9.0 のリリースでは、クラスターを起動するときに次のブートストラップアクションを使用します。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  Amazon EMR 5.36.0 では、クラスターを起動するときに次のブートストラップアクションを使用します。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```

リリースタイムラインの詳細については、「[変更ログ](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-680-release.html#680-changelog)」を参照してください。

## 6.8.0 コンポーネントバージョン
<a name="emr-680-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.2.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.22.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.1.0 | EMR S3Select コネクター | 
| emrfs | 2.53.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.15.1 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.15.1 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-8 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-8 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-8 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-8 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-8 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-8 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-8 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-8 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-8 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-8 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-8 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.12-amzn-0 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.12-amzn-0 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.12-amzn-0 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.12-amzn-0 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.12-amzn-0 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.12-amzn-0 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-1 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-1 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-1 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-1 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-1 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-1 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-1 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.11.1-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.11.1-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.11.1-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.11.1-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.10.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 0.14.0-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.7.0 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 5.1.2 | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 5.1.2 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.273.3-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.273.3-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.273.3-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 388-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 388-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 388-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.3.0-amzn-0 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.3.0-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.3.0-amzn-0 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.3.0-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 22.06.0-amzn-0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.9.1 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 | 

## 6.8.0 設定分類
<a name="emr-680-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.8.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

## 6.8.0 変更ログ
<a name="680-changelog"></a>


**6.8.0 リリースおよびリリースノートの変更ログ**  

| 日付 | [Event] (イベント) | 説明 | 
| --- | --- | --- | 
| 2023-08-21 | 更新 | Hadoop 3.3.3 に関する既知の問題が追加されました。 | 
| 2023-07-26 | 更新 | 新しい OS リリースラベル 2.0.20230612.0 と 2.0.20230628.0。 | 
| 2022-09-06 | デプロイ完了 | Amazon EMR 6.8 がすべての[サポートされているリージョン](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)に完全にデプロイされました | 
| 2022-09-06 | 初版発行 | Amazon EMR 6.8 リリースノートの初版が公開されました | 
| 2022-08-31 | 初回リリース | Amazon EMR 6.8 が限定商用リージョンにリリースされました | 

# Amazon EMR リリース 6.7.0
<a name="emr-670-release"></a>

## 6.7.0 アプリケーションバージョン
<a name="emr-670-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.7.0 | emr-6.6.0 | emr-6.5.0 | emr-6.4.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.170 | 1.12.170 | 1.12.31 | 1.12.31 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.2 | 1.14.2 | 1.14.0 | 1.13.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.4-amzn-3 | 2.4.4-amzn-2 | 2.4.4-amzn-1 | 2.4.4-amzn-0 | 
| HCatalog | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 
| Hadoop | 3.2.1-amzn-7 | 3.2.1-amzn-6 | 3.2.1-amzn-5 | 3.2.1-amzn-4 | 
| Hive | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 
| Hudi | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 | 
| Iceberg | 0.13.1-amzn-0 | 0.13.1 | 0.12.0 |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.272-amzn-0 | 0.267-amzn-0 | 0.261-amzn-0 | 0.254.1-amzn-0 | 
| Spark | 3.2.1-amzn-0 | 3.2.0-amzn-0 | 3.1.2-amzn-1 | 3.1.2-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 378-amzn-0 | 367-amzn-0 | 360 | 359 | 
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 | 
| ZooKeeper | 3.5.7 | 3.5.7 | 3.5.7 | 3.5.7 | 

## 6.7.0 リリースノート
<a name="emr-670-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.7.0 に関する情報が含まれています。6.6.0 からの変更が含まれています。

初回リリース日: 2022 年 7 月 15 日

**新機能**
+ Amazon EMR は Apache Spark 3.2.1、Apache Hive 3.1.3、HUDI 0.11、PrestoDB 0.272、Trino 0.378 をサポートするようになりました。
+ EC2 クラスター上の Amazon EMR 用の EMR ステップ (Spark、Hive) による IAM ロールおよび Lake Formation ベースのアクセスコントロールをサポートします。
+ Apache Ranger 対応クラスターでの Apache Spark データ定義ステートメントをサポートします。これには、Apache Ranger 対応クラスターで Apache Hive メタデータを読み書きする Trino アプリケーションのサポートが含まれるようになりました。詳細については、「[Enable federated governance using Trino and Apache Ranger on Amazon EMR](https://aws.amazon.com/blogs/big-data/enable-federated-governance-using-trino-and-apache-ranger-on-amazon-emr/)」を参照してください。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-670-release.html)

**既知の問題**
+ Amazon EMR リリース 6.5.0、6.6.0、または 6.7.0 が Apache Spark シェルを介して Apache Phoenix テーブルを読み取ると、Amazon EMR が誤った `Hbase.compat.version` を使用しているため、`NoSuchMethodError` が発生します。Amazon EMR リリース 6.8.0 では、この問題が修正されています。
+ Spark on Amazon EMR バージョン 6.6.0、6.7.0、6.8.0 で DynamoDB コネクタを使用すると、テーブルから何を読み込んでも空の結果が返されます。この状況は、入力分割が空でないデータを参照している場合でも変わりません。これは、Spark 3.2.0 が `spark.hadoopRDD.ignoreEmptySplits` をデフォルトで `true` に設定しているためです。回避策として、明示的に `spark.hadoopRDD.ignoreEmptySplits` を `false` に設定します。Amazon EMR リリース 6.9.0 では、この問題が修正されています。
+ Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
  + 同じテーブルから 2 つ以上のパーティションがスキャンされます。
  + 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、`s3://bucket/table/p=a` は `s3://bucket/table/p=a b` のプレフィックスです。
  + 他のパーティションディレクトリのプレフィックスに続く最初の文字が、`/` 文字 (U\$1002F) より小さい UTF-8 値を持ちます。例えば、`s3://bucket/table/p=a b` の a と b の間にあるスペース文字 (U\$10020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: `!"#$%&‘()*+,-`。詳細については、「[UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)」を参照してください。

  この問題の回避策として、`spark-defaults` 分類の `spark.sql.sources.fastS3PartitionDiscovery.enabled` 設定を `false` にセットします。
+ Amazon EMR リリース 5.36.0、および 6.6.0 から 6.9.0 では、Log4j2 プロパティのファイル名パターン設定が正しくないため、`SecretAgent` および `RecordServer` サービスコンポーネントでログデータが失われる可能性があります。設定が正しくないと、コンポーネントは 1 日に 1 つのログファイルしか生成しません。ローテーション戦略が実行されると、期待どおりに新しいログファイルが生成されず、既存のファイルが上書きされます。回避策として、ブートストラップアクションを使用して 1 時間ごとにログファイルを生成し、ファイル名に自動増分整数を追加してローテーションを処理します。

  Amazon EMR 6.6.0 から 6.9.0 のリリースでは、クラスターを起動するときに次のブートストラップアクションを使用します。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  Amazon EMR 5.36.0 では、クラスターを起動するときに次のブートストラップアクションを使用します。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```
+ `GetClusterSessionCredentials` API は、Amazon EMR 6.7 以前で実行されるクラスターではサポートされていません。
+ 次の Hadoop コミットがバックポートされました。

  - [[HADOOP-16080]](https://issues.apache.org/jira/browse/HADOOP-16080) `hadoop-aws` が `hadoop-client-api` で動作しない問題を修正します。

  - [[HADOOP-18237]](https://issues.apache.org/jira/browse/HADOOP-18237) Apache Xerces Java を 2.12.2 にアップグレードします。

  - [[YARN-11092]](https://issues.apache.org/jira/browse/YARN-11092) jquery を ui にアップグレードして 1.13.1 にします。

  - [[YARN-10720]](https://issues.apache.org/jira/browse/YARN-10720) プロキシサーバーがハングしないように、YARN WebAppProxyServlet は接続タイムアウトをサポートしなければなりません。

## 6.7.0 コンポーネントバージョン
<a name="emr-670-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.2.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.6.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.22.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.1.0 | EMR S3Select コネクター | 
| emrfs | 2.52.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.14.2 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.14.2 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-7 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-7 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-7 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-7 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-7 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-7 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-7 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-7 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-7 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-7 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-7 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.4-amzn-3 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.4-amzn-3 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.4-amzn-3 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.4-amzn-3 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.4-amzn-3 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.4-amzn-3 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.3-amzn-0 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.3-amzn-0 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-0 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.3-amzn-0 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.3-amzn-0 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.3-amzn-0 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.3-amzn-0 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.11.0-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.11.0-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.11.0-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.11.0-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.10.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 0.13.1-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.8.0 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.0.194 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 5.1.2 | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 5.1.2 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.272-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.272-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.272-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 378-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 378-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 378-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.2.1-amzn-0 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.2.1-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.2.1-amzn-0 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.2.1-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 22.02.0-amzn-1 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.4.1 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.0 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.7 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.7 | ZooKeeper コマンドラインクライアント。 | 

## 6.7.0 設定分類
<a name="emr-670-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.7.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

# Amazon EMR リリース 6.6.0
<a name="emr-660-release"></a>

## 6.6.0 アプリケーションバージョン
<a name="emr-660-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.6.0 | emr-6.5.0 | emr-6.4.0 | emr-6.3.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.170 | 1.12.31 | 1.12.31 | 1.11.977 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.2 | 1.14.0 | 1.13.1 | 1.12.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.4-amzn-2 | 2.4.4-amzn-1 | 2.4.4-amzn-0 | 2.2.6-amzn-1 | 
| HCatalog | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 
| Hadoop | 3.2.1-amzn-6 | 3.2.1-amzn-5 | 3.2.1-amzn-4 | 3.2.1-amzn-3.1 | 
| Hive | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 
| Hudi | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 0.7.0-amzn-0 | 
| Hue | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 | 
| Iceberg | 0.13.1 | 0.12.0 |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.0.0-HBase-2.0 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.267-amzn-0 | 0.261-amzn-0 | 0.254.1-amzn-0 | 0.245.1-amzn-0 | 
| Spark | 3.2.0-amzn-0 | 3.1.2-amzn-1 | 3.1.2-amzn-0 | 3.1.1-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 367-amzn-0 | 360 | 359 | 350 | 
| Zeppelin | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 | 
| ZooKeeper | 3.5.7 | 3.5.7 | 3.5.7 | 3.4.14 | 

## 6.6.0 リリースノート
<a name="emr-660-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.6.0 に関する情報が含まれています。6.5.0 からの変更が含まれています。

初回リリース日: 2022 年 5 月 9 日

ドキュメント更新日: 2022 年 6 月 15 日

**新機能**
+ Amazon EMR 6.6 は、Apache Spark 3.2、Apache Spark RAPIDS 22.02、CUDA 11、Apache Hudi 0.10.1、Apache Iceberg 0.13、Trino 0.367、PrestoDB 0.267 をサポートするようになりました。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-660-release.html)
+ Amazon EMR 6.6 以降では、Log4j 1.x と Log4j 2.x を使用するアプリケーションは、それぞれ Log4j 1.2.17 (またはそれ以上) と Log4j 2.17.1 (またはそれ以上) を使用するようにアップグレードされます。CVE の問題を軽減するために提供されている[ブートストラップアクション](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-log4j-vulnerability.html)を使用する必要はなくなります。
+ **[マネージドスケーリング] Spark シャッフルデータマネージドスケーリング最適化** - Amazon EMR バージョン 5.34.0 以降、および EMR バージョン 6.4.0 以降では、マネージドスケーリングは Spark シャッフルデータ (Spark が特定の操作を実行するためにパーティション間で再分配するデータ) 対応になりました。シャッフル操作の詳細については、「*Amazon EMR 管理ガイド*」および「[Spark Programming Guide](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations)」の「[Using EMR managed scaling in Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html)」を参照してください。
+ Amazon EMR 5.32.0 および 6.5.0 以降、Apache Spark の動的エグゼキューターサイズ設定はデフォルトで有効になっています。この機能をオンまたはオフにするには、`spark.yarn.heterogeneousExecutors.enabled` 設定パラメータを使用できます。

**変更、拡張、解決した問題**
+ Amazon EMR は、EMR のデフォルト AMI オプションを使用し、Apache Hadoop、Apache Spark、Apache Hive などの一般的なアプリケーションのみをインストールするクラスターの場合、クラスターの起動時間を平均で最大 80 秒短縮します。

**既知の問題**
+ Amazon EMR リリース 6.5.0、6.6.0、または 6.7.0 が Apache Spark シェルを介して Apache Phoenix テーブルを読み取ると、Amazon EMR が誤った `Hbase.compat.version` を使用しているため、`NoSuchMethodError` が発生します。Amazon EMR リリース 6.8.0 では、この問題が修正されています。
+ Spark on Amazon EMR バージョン 6.6.0、6.7.0、6.8.0 で DynamoDB コネクタを使用すると、テーブルから何を読み込んでも空の結果が返されます。この状況は、入力分割が空でないデータを参照している場合でも変わりません。これは、Spark 3.2.0 が `spark.hadoopRDD.ignoreEmptySplits` をデフォルトで `true` に設定しているためです。回避策として、明示的に `spark.hadoopRDD.ignoreEmptySplits` を `false` に設定します。Amazon EMR リリース 6.9.0 では、この問題が修正されています。
+ Trino の長時間稼働クラスターでは、Amazon EMR 6.6.0 は Trino jvm.config のガベージコレクションログ記録パラメータを有効にして、ガベージコレクションログからより深い知見を得ることができます。この変更により、launcher.log (/var/log/trino/launcher.log) ファイルに多くのガベージコレクションログが追加されます。Amazon EMR 6.6.0 で Trino クラスターを実行している場合、追加されたログが原因で、クラスターを数日間実行した後にノードのディスク容量が不足することがあります。

  この問題の回避策は、Amazon EMR 6.6.0 のクラスターを作成またはクローン作成する際に、以下のスクリプトをブートストラップアクションとして実行し、jvm.config のガベージコレクションログ記録パラメータを無効にすることです。

  ```
  #!/bin/bash
    set -ex
    PRESTO_PUPPET_DIR='/var/aws/emr/bigtop-deploy/puppet/modules/trino'
    sudo bash -c "sed -i '/-Xlog/d' ${PRESTO_PUPPET_DIR}/templates/jvm.config"
  ```
+ Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
  + 同じテーブルから 2 つ以上のパーティションがスキャンされます。
  + 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、`s3://bucket/table/p=a` は `s3://bucket/table/p=a b` のプレフィックスです。
  + 他のパーティションディレクトリのプレフィックスに続く最初の文字が、`/` 文字 (U\$1002F) より小さい UTF-8 値を持ちます。例えば、`s3://bucket/table/p=a b` の a と b の間にあるスペース文字 (U\$10020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: `!"#$%&‘()*+,-`。詳細については、「[UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)」を参照してください。

  この問題の回避策として、`spark-defaults` 分類の `spark.sql.sources.fastS3PartitionDiscovery.enabled` 設定を `false` にセットします。
+ Amazon EMR リリース 5.36.0、および 6.6.0 から 6.9.0 では、Log4j2 プロパティのファイル名パターン設定が正しくないため、`SecretAgent` および `RecordServer` サービスコンポーネントでログデータが失われる可能性があります。設定が正しくないと、コンポーネントは 1 日に 1 つのログファイルしか生成しません。ローテーション戦略が実行されると、期待どおりに新しいログファイルが生成されず、既存のファイルが上書きされます。回避策として、ブートストラップアクションを使用して 1 時間ごとにログファイルを生成し、ファイル名に自動増分整数を追加してローテーションを処理します。

  Amazon EMR 6.6.0 から 6.9.0 のリリースでは、クラスターを起動するときに次のブートストラップアクションを使用します。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  Amazon EMR 5.36.0 では、クラスターを起動するときに次のブートストラップアクションを使用します。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```

## 6.6.0 コンポーネントバージョン
<a name="emr-660-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.2.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.5.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.20.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.1.0 | EMR S3Select コネクター | 
| emrfs | 2.50.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.14.2 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.14.2 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-6 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-6 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-6 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-6 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-6 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-6 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-6 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-6 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-6 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-6 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-6 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.4-amzn-2 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.4-amzn-2 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.4-amzn-2 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.4-amzn-2 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.4-amzn-2 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hbase-operator-tools | 2.4.4-amzn-2 | Apache HBase クラスター用の修復ツール。 | 
| hcatalog-client | 3.1.2-amzn-7 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.2-amzn-7 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-7 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.2-amzn-7 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.2-amzn-7 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.2-amzn-7 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.2-amzn-7 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.10.1-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.10.1-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.10.1-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.10.1-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.10.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 0.13.1 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.8.0 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 11.0.194 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-connectors | 5.1.2 | Spark-3 用 Apache Phoenix-Connectors | 
| phoenix-query-server | 5.1.2 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.267-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.267-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.267-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 367-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 367-amzn-0 | いくつかのクエリを実行するサービス。 | 
| trino-client | 367-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.2.0-amzn-0 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.2.0-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.2.0-amzn-0 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.2.0-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 22.02.0-amzn-0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.4.1 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.0 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.7 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.7 | ZooKeeper コマンドラインクライアント。 | 

## 6.6.0 設定分類
<a name="emr-660-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.6.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

# Amazon EMR リリース 6.5.0
<a name="emr-650-release"></a>

## 6.5.0 アプリケーションバージョン
<a name="emr-650-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.5.0 | emr-6.4.0 | emr-6.3.1 | emr-6.3.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.31 | 1.12.31 | 1.11.977 | 1.11.977 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.0 | 1.13.1 | 1.12.1 | 1.12.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.4-amzn-1 | 2.4.4-amzn-0 | 2.2.6-amzn-1 | 2.2.6-amzn-1 | 
| HCatalog | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 
| Hadoop | 3.2.1-amzn-5 | 3.2.1-amzn-4 | 3.2.1-amzn-3.1 | 3.2.1-amzn-3 | 
| Hive | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 
| Hudi | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 0.7.0-amzn-0 | 0.7.0-amzn-0 | 
| Hue | 4.9.0 | 4.9.0 | 4.9.0 | 4.9.0 | 
| Iceberg | 0.12.0 |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.2.2 | 1.2.2 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.7.0 | 1.7.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.261-amzn-0 | 0.254.1-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 
| Spark | 3.1.2-amzn-1 | 3.1.2-amzn-0 | 3.1.1-amzn-0.1 | 3.1.1-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 360 | 359 | 350 | 350 | 
| Zeppelin | 0.10.0 | 0.9.0 | 0.9.0 | 0.9.0 | 
| ZooKeeper | 3.5.7 | 3.5.7 | 3.4.14 | 3.4.14 | 

## 6.5.0 リリースノート
<a name="emr-650-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.5.0 に関する情報が含まれています。6.4.0 からの変更が含まれています。

初回リリース日: 2022 年 1 月 20 日

更新リリース日: 2022 年 3 月 21 日

**新機能**
+ **[マネージドスケーリング] Spark シャッフルデータマネージドスケーリング最適化** - Amazon EMR バージョン 5.34.0 以降、および EMR バージョン 6.4.0 以降では、マネージドスケーリングは Spark シャッフルデータ (Spark が特定の操作を実行するためにパーティション間で再分配するデータ) 対応になりました。シャッフル操作の詳細については、「*Amazon EMR 管理ガイド*」および「[Spark Programming Guide](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations)」の「[Using EMR managed scaling in Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html)」を参照してください。
+ Amazon EMR 5.32.0 および 6.5.0 以降、Apache Spark の動的エグゼキューターサイズ設定はデフォルトで有効になっています。この機能をオンまたはオフにするには、`spark.yarn.heterogeneousExecutors.enabled` 設定パラメータを使用できます。
+ 巨大な分析データセット用の Apache Iceberg オープンテーブル形式のサポート。
+ ranger-trino-plugin 2.0.1-amzn-1 のサポート
+ toree 0.5.0 のサポート

**変更、拡張、解決した問題**
+ Amazon EMR 6.5 リリースバージョンは Apache Iceberg 0.12.0 をサポートするようになり、Apache Spark 用 Amazon EMR ランタイム、Presto 用 Amazon EMR ランタイム、Apache Hive 用 Amazon EMR ランタイムによりランタイムが改善されています。
+ [Apache Iceberg](https://iceberg.apache.org/) は、Amazon S3 の大規模データセット用のオープンテーブル形式であり、大きなテーブルに対する高速のクエリパフォーマンス、アトミックコミット、同時書き込み、および SQL 互換テーブルの進化を提供します。EMR 6.5 では、Apache Spark 3.1.2 を Iceberg テーブル形式で使用できます。
+ Apache Hudi 0.9 では Spark SQL DDL と DML のサポートが追加されています。これにより、SQL ステートメントだけを使用して Hudi テーブルを作成し、アップサートできるようになりました。Apache Hudi 0.9 では、クエリ側とライター側のパフォーマンスも向上しています。
+ Apache Hive 用 Amazon EMR ランタイムは、ステージング操作中の名前変更操作を削除することで Amazon S3 での Apache Hive のパフォーマンスを向上させ、テーブルの修復に使用されるメタストアチェック (MSCK) コマンドのパフォーマンスを向上させます。

**既知の問題**
+ Amazon EMR リリース 6.5.0、6.6.0、または 6.7.0 が Apache Spark シェルを介して Apache Phoenix テーブルを読み取ると、Amazon EMR が誤った `Hbase.compat.version` を使用しているため、`NoSuchMethodError` が発生します。Amazon EMR リリース 6.8.0 では、この問題が修正されています。
+ 高可用性 (HA) の Hbase バンドルクラスターは、デフォルトのボリュームサイズとインスタンスタイプではプロビジョニングに失敗します。この問題の回避策は、ルートボリュームのサイズを増やすことです。
+ Apache Oozie で Spark アクションを使用するには、以下の設定を Oozie `workflow.xml` ファイルに追加する必要があります。そうしないと、Hadoop や EMRFS などのいくつかの重要なライブラリが、Oozie が起動する Spark エグゼキューターのクラスパスから失われてしまいます。

  ```
  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>
  ```
+ Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
  + 同じテーブルから 2 つ以上のパーティションがスキャンされます。
  + 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、`s3://bucket/table/p=a` は `s3://bucket/table/p=a b` のプレフィックスです。
  + 他のパーティションディレクトリのプレフィックスに続く最初の文字が、`/` 文字 (U\$1002F) より小さい UTF-8 値を持ちます。例えば、`s3://bucket/table/p=a b` の a と b の間にあるスペース文字 (U\$10020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: `!"#$%&‘()*+,-`。詳細については、「[UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)」を参照してください。

  この問題の回避策として、`spark-defaults` 分類の `spark.sql.sources.fastS3PartitionDiscovery.enabled` 設定を `false` にセットします。

## 6.5.0 コンポーネントバージョン
<a name="emr-650-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.2.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.4.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.19.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.1.0 | EMR S3Select コネクター | 
| emrfs | 2.48.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.14.0 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.14.0 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-5 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-5 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-5 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-5 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-5 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-5 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-5 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-5 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-5 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-5 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-5 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.4-amzn-1 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.4-amzn-1 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.4-amzn-1 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.4-amzn-1 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.4-amzn-1 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hcatalog-client | 3.1.2-amzn-6 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.2-amzn-6 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-6 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.2-amzn-6 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.2-amzn-6 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.2-amzn-6 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.2-amzn-6 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.9.0-amzn-1 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.9.0-amzn-1 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.9.0-amzn-1 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.9.0-amzn-1 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.9.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| iceberg | 0.12.0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.8.0 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 10.1.243 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-query-server | 5.1.2 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.261-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.261-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.261-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 360 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 360 | いくつかのクエリを実行するサービス。 | 
| trino-client | 360 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.1.2-amzn-1 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.1.2-amzn-1 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.1.2-amzn-1 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.1.2-amzn-1 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 0.4.1 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.4.1 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.10.0 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.7 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.7 | ZooKeeper コマンドラインクライアント。 | 

## 6.5.0 設定分類
<a name="emr-650-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.5.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

# Amazon EMR リリース 6.4.0
<a name="emr-640-release"></a>

## 6.4.0 アプリケーションバージョン
<a name="emr-640-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.4.0 | emr-6.3.1 | emr-6.3.0 | emr-6.2.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.31 | 1.11.977 | 1.11.977 | 1.11.880 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.13.1 | 1.12.1 | 1.12.1 | 1.11.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.4-amzn-0 | 2.2.6-amzn-1 | 2.2.6-amzn-1 | 2.2.6-amzn-0 | 
| HCatalog | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 
| Hadoop | 3.2.1-amzn-4 | 3.2.1-amzn-3.1 | 3.2.1-amzn-3 | 3.2.1-amzn-2.1 | 
| Hive | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 
| Hudi | 0.8.0-amzn-0 | 0.7.0-amzn-0 | 0.7.0-amzn-0 | 0.6.0-amzn-1 | 
| Hue | 4.9.0 | 4.9.0 | 4.9.0 | 4.8.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.2.2 | 1.2.2 | 1.1.0 | 
| Livy | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.8.0 | 1.7.0 | 1.7.0 | 1.7.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.0 | 
| Phoenix | 5.1.2 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.254.1-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.238.3-amzn-1 | 
| Spark | 3.1.2-amzn-0 | 3.1.1-amzn-0.1 | 3.1.1-amzn-0 | 3.0.1-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.3.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 359 | 350 | 350 | 343 | 
| Zeppelin | 0.9.0 | 0.9.0 | 0.9.0 | 0.9.0-preview1 | 
| ZooKeeper | 3.5.7 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.4.0 リリースノート
<a name="emr-640-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.4.0 に関する情報が含まれています。6.3.0 からの変更が含まれています。

初回リリース日: 2021 年 9 月 20 日

更新リリース日: 2022 年 3 月 21 日

**サポートされているアプリケーション**
+ AWS SDK for Java バージョン 1.12.31
+ CloudWatch Sink バージョン 2.2.0
+ DynamoDB Connector バージョン 4.16.0
+ EMRFS バージョン 2.47.0
+ Amazon EMR Goodies バージョン 3.2.0
+ Amazon EMR Kinesis Connector バージョン 3.5.0
+ Amazon EMR Record Server バージョン 2.1.0
+ Amazon EMR Scripts バージョン 2.5.0
+ Flink バージョン 1.13.1
+ Ganglia バージョン 3.7.2
+ AWS Glue Hive メタストアクライアントバージョン 3.3.0
+ Hadoop バージョン 3.2.1-amzn-4
+ HBase バージョン 2.4.4-amzn-0
+ HBase-operator-tools 1.1.0
+ HCatalog バージョン 3.1.2-amzn-5
+ Hive バージョン 3.1.2-amzn-5
+ Hudi バージョン 0.8.0-amzn-0
+ Hue バージョン 4.9.0
+ Java JDK バージョン Corretto-8.302.08.1 (ビルド 1.8.0\$1302-b08)
+ JupyterHub バージョン 1.4.1
+ Livy バージョン 0.7.1-incubating
+ MXNet バージョン 1.8.0
+ Oozie バージョン 5.2.1
+ Phoenix バージョン 5.1.2
+ Pig バージョン 0.17.0
+ Presto バージョン 0.254.1-amzn-0
+ Trino バージョン 359
+ Apache Ranger KMS (マルチマスター透過的暗号化) バージョン 2.0.0
+ ranger-plugins 2.0.1-amzn-0
+ ranger-s3-plugin 1.2.0
+ SageMaker Spark SDK バージョン 1.4.1
+ Scala バージョン 2.12.10 (OpenJDK 64 ビットサーバー VM、Java 1.8.0\$1282)
+ Spark バージョン 3.1.2-amzn-0
+ spark-rapids 0.4.1
+ Sqoop バージョン 1.4.7
+ TensorFlow バージョン 2.4.1
+ tez バージョン 0.9.2
+ Zeppelin バージョン 0.9.0
+ Zookeeper バージョン 3.5.7
+ コネクタおよびドライバー: DynamoDB Connector 4.16.0

**新機能**
+ **[マネージドスケーリング] Spark シャッフルデータマネージドスケーリング最適化** - Amazon EMR バージョン 5.34.0 以降、および EMR バージョン 6.4.0 以降では、マネージドスケーリングは Spark シャッフルデータ (Spark が特定の操作を実行するためにパーティション間で再分配するデータ) 対応になりました。シャッフル操作の詳細については、「*Amazon EMR 管理ガイド*」および「[Spark Programming Guide](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations)」の「[Using EMR managed scaling in Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html)」を参照してください。
+ Apache Ranger 対応の Amazon EMR クラスターでは、Apache Spark SQL を使用して、`INSERT INTO`、`INSERT OVERWRITE`、および `ALTER TABLE` で Apache Hive メタストアテーブルでデータの挿入または更新を実行できます。Spark SQL で ALTER TABLE を使用する場合、パーティションの場所はテーブルの場所の子ディレクトリである必要があります。Amazon EMR は現在、パーティションの場所がテーブルの場所と異なるパーティションへのデータの挿入をサポートしていません。
+ PrestoSQL は [Trino に名称変更](https://trino.io/blog/2020/12/27/announcing-trino.html)されています。
+ Hive: LIMIT 句を使用した簡単な SELECT クエリの実行は、LIMIT 句に記述されているレコード数がフェッチされたらすぐにクエリの実行を停止すると、高速化されます。簡単な SELECT クエリは、GROUP BY/ORDER BY 句のないクエリ、またはリデューサーステージのないクエリです。例えば、`SELECT * from <TABLE> WHERE <Condition> LIMIT <Number>`。

**Hudi の同時実行制御**
+ Hudi はオプティミスティック同時実行制御 (OCC) をサポートするようになりました。この OCC を UPSERT や INSERT などの書き込みオペレーションで利用して、複数のライターから同じ Hudi テーブルへの変更を許可できます。これはファイルレベルの OCC であるため、2 つのコミット (またはライター) は、その変更が競合しなければ、同じテーブルに書き込むことができます。詳細については、「[Hudi Concurrency Control](https://hudi.apache.org/docs/concurrency_control/)」を参照してください。
+ Amazon EMR クラスターには Zookeeper がインストールされており、OCC のロックプロバイダーとして利用できます。この機能を使いやすくするために、Amazon EMR クラスターには次のプロパティが事前設定されています。

  ```
  hoodie.write.lock.provider=org.apache.hudi.client.transaction.lock.ZookeeperBasedLockProvider
  hoodie.write.lock.zookeeper.url=<EMR Zookeeper URL>
  hoodie.write.lock.zookeeper.port=<EMR Zookeeper Port>
  hoodie.write.lock.zookeeper.base_path=/hudi
  ```

  OCC を有効にするには、Hudi ジョブオプションを使用して、または Amazon EMR 設定 API を使用してクラスターレベルで、次のプロパティを設定する必要があります。

  ```
  hoodie.write.concurrency.mode=optimistic_concurrency_control
  hoodie.cleaner.policy.failed.writes=LAZY (Performs cleaning of failed writes lazily instead of inline with every write)
  hoodie.write.lock.zookeeper.lock_key=<Key to uniquely identify the Hudi table> (Table Name is a good option)
  ```

**Hudi モニタリング: Hudi メトリクスをレポートするための Amazon CloudWatch の統合**
+ Amazon EMR は、Amazon CloudWatch への Hudi メトリクスの公開をサポートしています。これを有効にするには、次の必要な設定を行います。

  ```
  hoodie.metrics.on=true
  hoodie.metrics.reporter.type=CLOUDWATCH
  ```
+ 変更できるオプションの Hudi 設定を以下に示します。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-640-release.html)

**Amazon EMR Hudi の設定のサポートと改善**
+ EMR 設定 API と再設定機能を利用して、クラスターレベルで Hudi 設定を構成できるようになりました。Spark、Hive などの他のアプリケーションに似た /etc/hudi/conf/hudi-defaults.conf を使用して、新しいファイルベースの設定のサポートが導入されました。EMR では、ユーザーエクスペリエンスを向上させるためにデフォルト設定はほとんどありません。

  — `hoodie.datasource.hive_sync.jdbcurl ` はクラスター Hive サーバ URL に設定されるため、指定する必要がなくなりました。これは、Spark クラスターモードでジョブを実行する場合に特に便利です。この場合、以前は Amazon EMR マスター IP を指定する必要がありました。

  — HBase 固有の設定。Hbase のインデックスを Hudi で使用する場合に役立ちます。

  — 同時実行制御で説明されているように、Zookeeper はプロバイダー固有の設定をロックします。これにより、オプティミスティック同時実行制御 (OCC) の使用が容易になります。
+ 渡す必要がある設定の数を減らし、可能な場合は自動的に推測するために、追加の変更が導入されました。

  — `partitionBy ` キーワードは、パーティション列を指定するために使用できます。

  — Hive Sync を有効にすると、`HIVE_TABLE_OPT_KEY, HIVE_PARTITION_FIELDS_OPT_KEY, HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY` を渡すのは必須ではなくなります。これらの値は、Hudi テーブル名とパーティションフィールドから推測できます。

  — `KEYGENERATOR_CLASS_OPT_KEY` を渡すのは必須ではなく、より単純な `SimpleKeyGenerator` および `ComplexKeyGenerator` のケースから推測できます。

**Hudi Caveats**
+ Hudi では、読み取り時マージ (MoR) テーブルおよびブートストラップテーブルの Hive でのベクトル化された実行をサポートしていません。例えば、`hive.vectorized.execution.enabled` が true に設定されている場合、Hudi リアルタイムテーブルで `count(*)` は失敗します。回避策として、`hive.vectorized.execution.enabled` を `false` に設定して、ベクトル化された読み取りを無効にすることができます。
+ マルチライターサポートは、Hudi ブートストラップ機能とは互換性がありません。
+ Flink Streamer と Flink SQL は、このリリースでは実験的な機能です。これらの機能は、実稼働環境での使用はお勧めしません。

**変更点、機能強化、解決した問題**

これは、Amazon EMR Scaling がクラスターを正常にスケールアップ/スケールダウンできない場合や、アプリケーション障害を引き起こした場合の問題点を修正するためのリリースです。
+ 以前は、マルチマスタークラスターでリソースマネージャーを手動で再起動すると、Zookeeper などの Amazon EMR のクラスター上のデーモンが、Zookeeper znode ファイル内の以前に廃止された、または失われたすべてのノードを再ロードしていました。これにより、特定の状況でデフォルトの制限を超えることがありました。Amazon EMR では、1 時間以上経過した、廃止された、または失われたノードレコードが Zookeeper ファイルから削除されるようになり、内部制限も引き上げられました。
+ Amazon EMR のクラスター上のデーモンが YARN ノード状態や HDFS ノード状態の収集などのヘルスチェックアクティビティを実行しているときに、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しました。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部の Amazon EMR コンポーネントに伝達できなかったために発生していました。
+ EMR のクラスター上のデーモンが改善され、IP アドレスが再利用されるときにノードの状態を正しく追跡できるようになり、スケーリング操作中の信頼性が向上しました。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。クラスターがスケールアップまたはスケールダウンを試みたときに YARN 廃止の競合状態が原因でジョブ障害が発生する問題を修正しました。
+ Amazon EMR のクラスター上のデーモンと YARN/HDFS の間でノードの状態が常に一致するようにすることで、クラスターのスケーリング中のステップまたはジョブの障害に関する問題を修正しました。
+ Kerberos 認証で有効になっている Amazon EMR クラスターで、スケールダウンやステップ送信などのクラスター操作が失敗する問題を修正しました。これは、Amazon EMR のクラスター上のデーモンが、プライマリノードで実行されている HDFS/YARN と安全に通信するために必要な Kerberos チケットを更新しなかったためです。
+ **Apache YARN タイムラインサーバーのバージョン 1 および 1.5 のパフォーマンスの問題を修正するためのクラスターの設定**

  Apache YARN タイムラインサーバーのバージョン 1 および 1.5 では、特に Amazon EMR のデフォルト設定である `yarn.resourcemanager.system-metrics-publisher.enabled=true` を使用する場合に、非常にアクティブで大規模な EMR クラスターでパフォーマンスの問題が発生する可能性があります。オープンソースの YARN タイムラインサーバー v2 では、YARN タイムラインサーバーのスケーラビリティに関連するパフォーマンスの問題が解決されています。

  この問題の他の回避策には、次のものがあります。
  + yarn-site.xml で yarn.resourcemanager.system-metrics-publisher.enabled=false を設定します。
  + クラスターの作成時にこの問題の修正を有効にします (以下を参照)。

  次の Amazon EMR リリースには、この YARN タイムラインサーバーのパフォーマンス問題の修正が含まれています。

  EMR 5.30.2、5.31.1、5.32.1、5.33.1、5.34.x、6.0.1、6.1.1、6.2.1、6.3.1、6.4.x

  上記に示されている Amazon EMR リリースで修正を有効にするには、[`aws emr create-cluster` コマンドのパラメータ](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-create-cluster.html) `--configurations file://./configurations.json` で渡される設定の JSON ファイルで、以下のプロパティを `true` に設定します。または、[再構成コンソール UI](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html) を使用して修正を有効にします。

  configurations.json ファイルの内容の例

  ```
  [
  {
  "Classification": "yarn-site",
  "Properties": {
  "yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
  "yarn.resourcemanager.system-metrics-publisher.enabled": "true"
  },
  "Configurations": []
  }
  ]
  ```
+ WebHDFS と HttpFS サーバーはデフォルトで無効になっています。Hadoop 設定 `dfs.webhdfs.enabled` を使用して WebHDF を再度有効にすることができます。HttpFS サーバーを起動するには、`sudo systemctl start hadoop-httpfs` を使用します。
+ Amazon Linux リポジトリでは、現在、HTTPS がデフォルトで有効になります。Amazon S3 VPCE ポリシーを使用して特定のバケットへのアクセスを制限する場合は、新しい Amazon Linux バケット ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` をポリシーに追加する (`$region` を、エンドポイントがあるリージョンに置き換える) 必要があります。詳細については、 AWS ディスカッションフォーラムのこのトピックを参照してください。[Announcement: Amazon Linux 2 now supports the ability to use HTTPS while connecting to package repositories ](https://forums.aws.amazon.com/ann.jspa?annID=8528) 
+ Hive: 最後のジョブに HDFS でスクラッチディレクトリを使用できるようにすると、書き込みクエリのパフォーマンスが向上します。最後のジョブの一時データは Amazon S3 ではなく HDFS に書き込まれ、データは Amazon S3 デバイス間ではなく HDFS から最後のテーブルの場所 (Amazon S3) に移動されるため、パフォーマンスが向上します。
+ Hive: Glue メタストアパーティションプルーニングにより、クエリのコンパイル時間が最大 2.5 倍に改善されています。
+ デフォルトでは、組み込みの UDF が Hive から Hive メタストアサーバーに渡されると、Glue は限定された式演算子しかサポートしていないため、組み込みの UDF のサブセットのみが Glue メタストアに渡されます。`hive.glue.partition.pruning.client=true` を設定した場合、パーティションのプルーニングはすべてクライアント側で行われます。`hive.glue.partition.pruning.server=true` を設定した場合、パーティションのプルーニングはすべてサーバー側で行われます。

**既知の問題**
+ Apache Hadoop HttpFS サーバーはデフォルトで無効になるため、Hue クエリは Amazon EMR 6.4.0 では機能しません。Amazon EMR 6.4.0 で Hue を使用するには、`sudo systemctl start hadoop-httpfs` を使用して Amazon EMR プライマリノードで HttpFS サーバーを手動で起動するか、または [Amazon EMR のステップを使用](https://docs.aws.amazon.com/emr/latest/ManagementGuide/add-step-cli.html)します。
+ Livy ユーザー偽装で使用される Amazon EMR Notebooks 機能は、HttpFS がデフォルトで無効になっているため機能しません。この場合、EMR notebooks は Livy 偽装が有効になっているクラスターに接続できません。回避策は、`sudo systemctl start hadoop-httpfs` を使用して EMR notebooks をクラスターに接続する前に、HttpFS サーバーを起動することです。
+ Amazon EMR バージョン 6.4.0 では、Phoenix は Phoenix コネクタコンポーネントをサポートしていません。
+ Apache Oozie で Spark アクションを使用するには、以下の設定を Oozie `workflow.xml` ファイルに追加する必要があります。そうしないと、Hadoop や EMRFS などのいくつかの重要なライブラリが、Oozie が起動する Spark エグゼキューターのクラスパスから失われてしまいます。

  ```
  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>
  ```
+ Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
  + 同じテーブルから 2 つ以上のパーティションがスキャンされます。
  + 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、`s3://bucket/table/p=a` は `s3://bucket/table/p=a b` のプレフィックスです。
  + 他のパーティションディレクトリのプレフィックスに続く最初の文字が、`/` 文字 (U\$1002F) より小さい UTF-8 値を持ちます。例えば、`s3://bucket/table/p=a b` の a と b の間にあるスペース文字 (U\$10020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: `!"#$%&‘()*+,-`。詳細については、「[UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)」を参照してください。

  この問題の回避策として、`spark-defaults` 分類の `spark.sql.sources.fastS3PartitionDiscovery.enabled` 設定を `false` にセットします。

## 6.4.0 コンポーネントバージョン
<a name="emr-640-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.2.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.3.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.18.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.1.0 | EMR S3Select コネクター | 
| emrfs | 2.47.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.13.1 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.13.1 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-4 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-4 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-4 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-4 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-4 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-4 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-4 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-4 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-4 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-4 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-4 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.4.4-amzn-0 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.4.4-amzn-0 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.4.4-amzn-0 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.4.4-amzn-0 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.4.4-amzn-0 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hcatalog-client | 3.1.2-amzn-5 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.2-amzn-5 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-5 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.2-amzn-5 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.2-amzn-5 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.2-amzn-5 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.2-amzn-5 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.8.0-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.8.0-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-trino | 0.8.0-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.8.0-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.9.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.8.0 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 10.1.243 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-query-server | 5.1.2 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.254.1-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.254.1-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.254.1-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| trino-coordinator | 359 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| trino-worker | 359 | いくつかのクエリを実行するサービス。 | 
| trino-client | 359 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.1.2-amzn-0 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.1.2-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.1.2-amzn-0 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.1.2-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 0.4.1 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.4.1 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.9.0 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.5.7 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.5.7 | ZooKeeper コマンドラインクライアント。 | 

## 6.4.0 設定分類
<a name="emr-640-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.4.0 分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. | 
| trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

# Amazon EMR リリース 6.3.1
<a name="emr-631-release"></a>

## 6.3.1 アプリケーションバージョン
<a name="emr-631-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://prestosql.io/](https://prestosql.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.3.1 | emr-6.3.0 | emr-6.2.1 | emr-6.2.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.977 | 1.11.977 | 1.11.880 | 1.11.880 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.12.1 | 1.12.1 | 1.11.2 | 1.11.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.6-amzn-1 | 2.2.6-amzn-1 | 2.2.6-amzn-0 | 2.2.6-amzn-0 | 
| HCatalog | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 
| Hadoop | 3.2.1-amzn-3.1 | 3.2.1-amzn-3 | 3.2.1-amzn-2.1 | 3.2.1-amzn-2 | 
| Hive | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 
| Hudi | 0.7.0-amzn-0 | 0.7.0-amzn-0 | 0.6.0-amzn-1 | 0.6.0-amzn-1 | 
| Hue | 4.9.0 | 4.9.0 | 4.8.0 | 4.8.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.2.2 | 1.2.2 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.7.0 | 1.7.0 | 1.7.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.0 | 5.2.0 | 
| Phoenix | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.238.3-amzn-1 | 0.238.3-amzn-1 | 
| Spark | 3.1.1-amzn-0.1 | 3.1.1-amzn-0 | 3.0.1-amzn-0.1 | 3.0.1-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.3.1 | 2.3.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 350 | 350 | 343 | 343 | 
| Zeppelin | 0.9.0 | 0.9.0 | 0.9.0-preview1 | 0.9.0-preview1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.3.1 リリースノート
<a name="emr-631-relnotes"></a>

これは、Amazon EMR Scaling がクラスターを正常にスケールアップ/スケールダウンできない場合や、アプリケーション障害を引き起こした場合の問題点を修正するためのリリースです。

**変更、拡張、解決した問題**
+ Amazon EMR のクラスター上のデーモンが YARN ノード状態や HDFS ノード状態の収集などのヘルスチェックアクティビティを実行しているときに、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しました。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部の Amazon EMR コンポーネントに伝達できなかったために発生していました。
+ EMR のクラスター上のデーモンが改善され、IP アドレスが再利用されるときにノードの状態を正しく追跡できるようになり、スケーリング操作中の信頼性が向上しました。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。クラスターがスケールアップまたはスケールダウンを試みたときに YARN 廃止の競合状態が原因でジョブ障害が発生する問題を修正しました。
+ Amazon EMR のクラスター上のデーモンと YARN/HDFS の間でノードの状態が常に一致するようにすることで、クラスターのスケーリング中のステップまたはジョブの障害に関する問題を修正しました。
+ Kerberos 認証で有効になっている Amazon EMR クラスターで、スケールダウンやステップ送信などのクラスター操作が失敗する問題を修正しました。これは、Amazon EMR のクラスター上のデーモンが、プライマリノードで実行されている HDFS/YARN と安全に通信するために必要な Kerberos チケットを更新しなかったためです。
+ Amazon Linux リポジトリでは、現在、HTTPS がデフォルトで有効になります。Amazon S3 VPCE ポリシーを使用して特定のバケットへのアクセスを制限する場合は、新しい Amazon Linux バケット ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` をポリシーに追加する (`$region` を、エンドポイントがあるリージョンに置き換える) 必要があります。詳細については、 AWS ディスカッションフォーラムのこのトピックを参照してください。[Announcement: Amazon Linux 2 now supports the ability to use HTTPS while connecting to package repositories ](https://forums.aws.amazon.com/ann.jspa?annID=8528) 

**既知の問題**
+ Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
  + 同じテーブルから 2 つ以上のパーティションがスキャンされます。
  + 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、`s3://bucket/table/p=a` は `s3://bucket/table/p=a b` のプレフィックスです。
  + 他のパーティションディレクトリのプレフィックスに続く最初の文字が、`/` 文字 (U\$1002F) より小さい UTF-8 値を持ちます。例えば、`s3://bucket/table/p=a b` の a と b の間にあるスペース文字 (U\$10020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: `!"#$%&‘()*+,-`。詳細については、「[UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)」を参照してください。

  この問題の回避策として、`spark-defaults` 分類の `spark.sql.sources.fastS3PartitionDiscovery.enabled` 設定を `false` にセットします。

## 6.3.1 コンポーネントバージョン
<a name="emr-631-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.2.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.2.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.18.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.1.0 | EMR S3Select コネクター | 
| emrfs | 2.46.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.12.1 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.12.1 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-3.1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-3.1 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-3.1 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-3.1 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-3.1 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-3.1 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-3.1 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-3.1 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-3.1 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-3.1 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-3.1 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.2.6-amzn-1 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.2.6-amzn-1 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.2.6-amzn-1 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.2.6-amzn-1 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.2.6-amzn-1 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hcatalog-client | 3.1.2-amzn-4 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.2-amzn-4 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-4 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.2-amzn-4 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.2-amzn-4 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.2-amzn-4 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.2-amzn-4 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.7.0-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.7.0-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-prestosql | 0.7.0-amzn-0 | PrestoSQL を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.7.0-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.9.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| jupyterhub | 1.2.2 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.0-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.7.0 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 10.1.243 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.0.0-HBase-2.0 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-query-server | 5.0.0-HBase-2.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.245.1-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.245.1-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.245.1-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| prestosql-coordinator | 350 | prestosql-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| prestosql-worker | 350 | いくつかのクエリを実行するサービス。 | 
| prestosql-client | 350 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.1.1-amzn-0.1 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.1.1-amzn-0.1 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.1.1-amzn-0.1 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.1.1-amzn-0.1 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 0.4.1 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.4.1 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.9.0 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.4.14 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.4.14 | ZooKeeper コマンドラインクライアント。 | 

## 6.3.1 設定分類
<a name="emr-631-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.3.1 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| prestosql-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-node | PrestoSQL の node.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-blackhole | PrestoSQL の blackhole.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-cassandra | PrestoSQL の cassandra.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-hive | PrestoSQL の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-connector-jmx | PrestoSQL の jmx.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-kafka | PrestoSQL の kafka.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-localfile | PrestoSQL の localfile.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-memory | PrestoSQL の memory.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-mongodb | PrestoSQL の mongodb.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-mysql | PrestoSQL の musql.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-postgresql | PrestoSQL の postgresql.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-raptor | PrestoSQL の raptor.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-redis | PrestoSQL の redis.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-redshift | PrestoSQL の redshift.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-tpch | PrestoSQL の tpcj.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-tpcds | PrestoSQL の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

# Amazon EMR リリース 6.3.0
<a name="emr-630-release"></a>

## 6.3.0 アプリケーションバージョン
<a name="emr-630-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://prestosql.io/](https://prestosql.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.3.0 | emr-6.2.1 | emr-6.2.0 | emr-6.1.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.977 | 1.11.880 | 1.11.880 | 1.11.828 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.12.1 | 1.11.2 | 1.11.2 | 1.11.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.6-amzn-1 | 2.2.6-amzn-0 | 2.2.6-amzn-0 | 2.2.5 | 
| HCatalog | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 
| Hadoop | 3.2.1-amzn-3 | 3.2.1-amzn-2.1 | 3.2.1-amzn-2 | 3.2.1-amzn-1.1 | 
| Hive | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 
| Hudi | 0.7.0-amzn-0 | 0.6.0-amzn-1 | 0.6.0-amzn-1 | 0.5.2-incubating-amzn-2 | 
| Hue | 4.9.0 | 4.8.0 | 4.8.0 | 4.7.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 |  -  | 
| JupyterHub | 1.2.2 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.245.1-amzn-0 | 0.238.3-amzn-1 | 0.238.3-amzn-1 | 0.232 | 
| Spark | 3.1.1-amzn-0 | 3.0.1-amzn-0.1 | 3.0.1-amzn-0 | 3.0.0-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.3.1 | 2.3.1 | 2.1.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 350 | 343 | 343 | 338 | 
| Zeppelin | 0.9.0 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.3.0 リリースノート
<a name="emr-630-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.3.0 に関する情報が含まれています。6.2.0 からの変更が含まれています。

初回リリース日: 2021 年 5 月 12 日

最終更新日: 2021 年 8 月 9 日

**サポートされているアプリケーション**
+ AWS SDK for Java バージョン 1.11.977
+ CloudWatch Sink バージョン 2.1.0
+ DynamoDB Connector バージョン 4.16.0
+ EMRFS バージョン 2.46.0
+ Amazon EMR Goodies バージョン 3.2.0
+ Amazon EMR Kinesis Connector バージョン 3.5.0
+ Amazon EMR Record Server バージョン 2.0.0
+ Amazon EMR Scripts バージョン 2.5.0
+ Flink バージョン 1.12.1
+ Ganglia バージョン 3.7.2
+ AWS Glue Hive メタストアクライアントバージョン 3.2.0
+ Hadoop バージョン 3.2.1-amzn-3
+ HBase バージョン 2.2.6-amzn-1
+ HBase-operator-tools 1.0.0
+ HCatalog バージョン 3.1.2-amzn-0
+ Hive バージョン 3.1.2-amzn-4
+ Hudi バージョン 0.7.0-amzn-0
+ Hue バージョン 4.9.0
+ Java JDK バージョン Corretto-8.282.08.1 (ビルド 1.8.0\$1282-b08)
+ JupyterHub バージョン 1.2.0
+ Livy バージョン 0.7.0-incubating
+ MXNet バージョン 1.7.0
+ Oozie バージョン 5.2.1
+ Phoenix バージョン 5.0.0
+ Pig バージョン 0.17.0
+ Presto バージョン 0.245.1-amzn-0
+ PrestoSQL バージョン 350
+ Apache Ranger KMS (マルチマスター透過的暗号化) バージョン 2.0.0
+ ranger-plugins 2.0.1-amzn-0
+ ranger-s3-plugin 1.1.0
+ SageMaker Spark SDK バージョン 1.4.1
+ Scala バージョン 2.12.10 (OpenJDK 64 ビットサーバー VM、Java 1.8.0\$1282)
+ Spark バージョン 3.1.1-amzn-0
+ spark-rapids 0.4.1
+ Sqoop バージョン 1.4.7
+ TensorFlow バージョン 2.4.1
+ tez バージョン 0.9.2
+ Zeppelin バージョン 0.9.0
+ Zookeeper バージョン 3.4.14
+ コネクタおよびドライバー: DynamoDB Connector 4.16.0

**新機能**
+ Amazon EMR は Amazon S3 Access Points をサポートしています。これは、共有データレイクへのアクセスを簡単に管理できる Amazon S3 の機能です。Amazon S3 アクセスポイントのエイリアスを使用すると、Amazon EMR で大規模なデータアクセスを簡素化できます。Amazon EMR が利用可能なすべての AWS リージョンで、Amazon EMR のすべてのバージョンで Amazon S3 アクセスポイントを追加料金なしで使用できます。Amazon S3 Access Points およびアクセスポイントのエイリアスの詳細については、「*Amazon S3 ユーザーガイド*」の「[アクセスポイントでのバケット形式のエイリアスの使用](https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-points-alias.html)」を参照してください。
+ 新しい `DescribeReleaseLabel` API パラメータおよび `ListReleaseLabel` API パラメータは、Amazon EMR リリースラベルの詳細を提供します。API リクエストが実行されているリージョンで利用可能なリリースをプログラムで一覧表示でき、特定の Amazon EMR リリースラベルで使用可能なアプリケーションをプログラムで一覧表示できます。リリースラベルのパラメータにより、Spark などの指定したアプリケーションをサポートしている Amazon EMR リリースも一覧表示されます。この情報は、Amazon EMR クラスターをプログラムで起動するために使用できます。たとえば、`ListReleaseLabel` の結果から最新のリリースバージョンを使用してクラスターを起動できます。詳細については、「*Amazon EMR API リファレンス*」の「[DescribeReleaseLabel](https://docs.aws.amazon.com/emr/latest/APIReference/API_DescribeReleaseLabel.html)」および「[ListReleaseLabels](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html)」を参照してください。
+ Amazon EMR 6.3.0 では、Apache Ranger とネイティブに統合されるクラスターを起動できます。Apache Ranger は、Hadoop プラットフォーム全体で包括的なデータセキュリティを有効化、監視、管理するためのオープンソースフレームワークです。詳細については、「[Apache Ranger](https://ranger.apache.org/)」を参照してください。ネイティブ統合により、独自の Apache Ranger を導入して、Amazon EMR できめ細かなデータアクセス制御を実施できます。「Amazon EMR 管理ガイド」の「[Amazon EMR と Apache Ranger を統合する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger.html)」を参照してください。
+ スコープ管理ポリシー: AWS ベストプラクティスに合わせて、Amazon EMR は廃止されるポリシーの代替として v2 EMR スコープのデフォルト管理ポリシーを導入しました。「[Amazon EMR 管理ポリシー](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-iam-policies.html)」を参照してください。
+ インスタンスメタデータサービス (IMDS) V2 サポートステータス: Amazon EMR 6.2 以降では、Amazon EMR コンポーネントはすべての IMDS 呼び出しに IMDSv2 を使用します。アプリケーションコードでの IMDS 呼び出しでは、IMDSv1 と IMDSv2 の両方を使用するか、または、セキュリティを強化するために IMDSv2 のみを使用するように IMDS を設定できます。以前の Amazon EMR 6.x リリースで IMDSv1 を無効にすると、クラスターの起動が失敗します。

**変更点、機能強化、解決した問題**
+ これは、Amazon EMR Scaling がクラスターを正常にスケールアップ/スケールダウンできない場合や、アプリケーション障害を引き起こした場合の問題点を修正するためのリリースです。
+ Amazon EMR のクラスター上のデーモンが YARN ノード状態や HDFS ノード状態の収集などのヘルスチェックアクティビティを実行しているときに、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しました。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部の Amazon EMR コンポーネントに伝達できなかったために発生していました。
+ EMR のクラスター上のデーモンが改善され、IP アドレスが再利用されるときにノードの状態を正しく追跡できるようになり、スケーリング操作中の信頼性が向上しました。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。クラスターがスケールアップまたはスケールダウンを試みたときに YARN 廃止の競合状態が原因でジョブ障害が発生する問題を修正しました。
+ Amazon EMR のクラスター上のデーモンと YARN/HDFS の間でノードの状態が常に一致するようにすることで、クラスターのスケーリング中のステップまたはジョブの障害に関する問題を修正しました。
+ Kerberos 認証で有効になっている Amazon EMR クラスターで、スケールダウンやステップ送信などのクラスター操作が失敗する問題を修正しました。これは、Amazon EMR のクラスター上のデーモンが、プライマリノードで実行されている HDFS/YARN と安全に通信するために必要な Kerberos チケットを更新しなかったためです。
+ Amazon EMR の新しいリリースでは、Amazon EMR の古い AL2 で「最大オープンファイル」の上限が低い問題が修正されています。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれるようになりました。
+ Spark SQL UI の explain モードのデフォルトは [Spark 3.1](https://issues.apache.org/jira/browse/SPARK-31325) で `extended` から `formatted` に変更されました。Amazon EMR では、それを `extended` に戻し、Spark SQL UI に論理プラン情報を含めるようになっています。`spark.sql.ui.explainMode` を `formatted` に設定すると、これを元に戻すことができます。
+ 以下のコミットは Spark マスターブランチからバックポートされました。

  - [[SPARK-34752]](https://issues.apache.org/jira/browse/SPARK-34752)[ビルド] CVE-2020-27223 に対処するために Jetty を 9.4.37 にバンプ。

  - [[SPARK-34534]](https://issues.apache.org/jira/browse/SPARK-34534) FetchShuffleBlocks を使用してブロックをフェッチするときの blockId の順序を修正。

  - [[SPARK-34681]](https://issues.apache.org/jira/browse/SPARK-34681) [SQL] 非等化条件で左側を構築するときの、完全外部のシャッフルされたハッシュ結合のバグを修正。

  - [[SPARK-34497]](https://issues.apache.org/jira/browse/SPARK-34497) [SQL] JVM セキュリティコンテキストの変更を復元するための、組み込みの JDBC 接続プロバイダーを修正。
+ Nvidia Spark RAPIDS プラグインとの相互運用性を向上させるために、アダプティブクエリ実行を無効にして Nvidia Spark RAPIDS を使用するときに動的パーティションプルーニングがトリガーされない問題に対処する回避策を追加しました。「[RAPIDS の問題 \$11378](https://github.com/NVIDIA/spark-rapids/issues/1378)」および「[RAPIDS の問題 \$11386](https://github.com/NVIDIA/spark-rapids/issues/1386)」を参照してください。新しい設定 `spark.sql.optimizer.dynamicPartitionPruning.enforceBroadcastReuse` の詳細については、「[RAPIDS の問題 \$11386](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-performance.html#emr-spark-performance-dynamic)」を参照してください。
+ ファイル出力コミッターのデフォルトアルゴリズムは、オープンソースの Spark 3.1 の v2 アルゴリズムから v1 アルゴリズムに変更されました。詳細については、「[Amazon EMR による Spark パフォーマンスの最適化 - ダイナミックパーティションプルーニング](https://issues.apache.org/jira/browse/SPARK-33019)」を参照してください。
+ パフォーマンスの低下を防ぐため、Amazon EMR は以前の Amazon EMR 6.x リリースで使用されていたデフォルトである v2 アルゴリズムに戻りました。オープンソースの Spark 3.1 の動作を復元するには、`spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version` を `1` に設定します。オープンソースの Spark では、ファイル出力コミッターのアルゴリズム v2 のタスクコミットがアトミックではなく、場合によっては出力データの正確性の問題を引き起こす可能性があるため、この変更が行われました。ただし、アルゴリズム v1 のタスクコミットもアトミックではありません。場合によっては、タスクコミットに名前変更の前に実行された削除が含まれます。これにより、サイレントデータの正確性の問題が発生する可能性があります。
+ 以前の Amazon EMR リリースでマネージドスケーリングの問題を修正し、アプリケーションの障害率が大幅に低下するように改善しました。
+ 新しいクラスターごとに AWS Java SDK バンドルをインストールしました。これは、個々のコンポーネント jar ではなく、すべてのサービス SDK とその依存関係を含む単一の jar です。詳細については、「[Java SDK Bundled Dependency](https://aws.amazon.com/blogs/developer/java-sdk-bundle/)」を参照してください。

**既知の問題**
+ Amazon EMR 6.3.0 および 6.2.0 のプライベートサブネットクラスターで、Ganglia ウェブ UI にアクセスできません。「アクセス拒否 (403)」というエラーが表示されます。Spark、Hue、JupyterHub、Zeppelin、Livy、Tez などの他のウェブ UI は正常に動作します。パブリックサブネットクラスターでの Ganglia ウェブ UI アクセスも正常に動作します。この問題を解決するには、`sudo systemctl restart httpd` を使用してプライマリノードで httpd サービスを再起動します。この問題は、Amazon EMR 6.4.0 で修正されています。
+  AWS Glue Data Catalog が有効になっている場合、Spark を使用して null 文字列の場所 URI を持つ AWS Glue DB にアクセスすると、失敗する可能性があります。これは以前の Amazon EMR リリースで発生しますが、SPARK-31709 (https://issues.apache.org/jira/browse/SPARK-31709) ではより多くの場合に当てはまります。たとえば、場所 URI が null 文字列であるデフォルトの AWS Glue DB 内にテーブルを作成すると、 は「空の文字列からパスを作成できません」というメッセージで`spark.sql("CREATE TABLE mytest (key string) location '/table_path';")`失敗します。これを回避するには、 Glue データベースの場所 URI AWS を手動で設定し、Spark を使用してこれらのデータベース内にテーブルを作成します。
+ Amazon EMR 6.3.0 では、PrestoSQL がバージョン 343 からバージョン 350 にアップグレードされました。このバージョン変更に関連して、オープンソースからのセキュリティ関連の変更が 2 つあります。ファイルベースのカタログアクセス制御は、テーブル、スキーマ、またはセッションのプロパティのルールが定義されていない場合、`deny` から `allow` に変更されています。また、ファイルベースのシステムアクセス制御は、カタログルールが定義されていないファイルをサポートするように変更されています。この場合、カタログへのすべてのアクセスが許可されます。

  詳細については、「[Release 344 (9 Oct 2020)](https://trino.io/docs/current/release/release-344.html#security)」を参照してください。
+ Hadoop ユーザーディレクトリ (/home/hadoop) はすべての人が読み取り可能であることに注意してください。Unix 755 (drwxr-xr-x) ディレクトリ許可があり、Hive のようなフレームワークによって読み取りアクセスが許可されます。/home/hadoop とそのサブディレクトリにファイルを配置できますが、機密情報を保護するために、これらのディレクトリに対するアクセス許可に注意してください。
+ **古い AL2 で「最大オープンファイル」の上限が低い [新しいリリースで修正済み]。**Amazon EMR リリース emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0、および emr-6.2.0 は、古いバージョンの Amazon Linux 2 (AL2) に基づいており、デフォルトの AMI を使用して Amazon EMR クラスターを作成する場合に「最大オープンファイル」の ulimit 設定が低くなります。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれています。オープンファイルの上限が低いリリースでは、Spark ジョブを送信するときに「Too many open files」というエラーが発生します。影響を受けるリリースでは、Amazon EMR のデフォルト AMI の「最大オープンファイル」はデフォルトの ulimit 設定 4096 になっており、最新の Amazon Linux 2 AMI の上限 65536 ファイルよりも低くなっています。「最大オープンファイル」の ulimit 設定が低い場合、Spark ドライバーとエグゼキュータが 4096 を超えるファイルを開こうとすると、Spark ジョブが失敗します。この問題を解決するために、Amazon EMR には、クラスターの作成時に ulimit 設定を調整するブートストラップアクション (BA) スクリプトが用意されています。

  この問題の永続的な修正がない古い Amazon EMR バージョンを使用している場合は、以下の回避策を使用すると、instance-controller ulimit を最大の 65536 ファイルに明示的に設定できます。

**コマンドラインから ulimit を明示的に設定する**

  1. `/etc/systemd/system/instance-controller.service` を編集して、Service セクションに次のパラメータを追加します。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. InstanceController を再起動します。

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **ブートストラップアクション (BA) を使用して ulimit を設定する**

  ブートストラップアクション (BA) スクリプトを使用して、クラスター作成時にインスタンスコントローラーの ulimit を 65536 ファイルに設定することもできます。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ 
**重要**  
Amazon Linux または Amazon Linux 2 Amazon マシンイメージ (AMI) を実行する EMR クラスターは、デフォルトの Amazon Linux 動作を使用します。再起動が必要な重要かつクリティカルなカーネル更新が自動的にダウンロードされてインストールされることはありません。これは、デフォルトの Amazon Linux AMI を実行している他の Amazon EC2 インスタンスと同じ動作です。Amazon EMR リリースが利用可能になった後に、再起動が必要な新しい Amazon Linux ソフトウェアアップデート (カーネル、NVIDIA、CUDA のアップデートなど) が使用可能になった場合、デフォルトの AMI を実行する EMR クラスターインスタンスで、それらの更新が自動的にダウンロードされてインストールされることはありません。カーネルの更新を取得するには、[Amazon EMR AMI をカスタマイズ](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)して、[最新の Amazon Linux AMI を使用](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/finding-an-ami.html)できるようにします。
+ Apache Oozie で Spark アクションを使用するには、以下の設定を Oozie `workflow.xml` ファイルに追加する必要があります。そうしないと、Hadoop や EMRFS などのいくつかの重要なライブラリが、Oozie が起動する Spark エグゼキューターのクラスパスから失われてしまいます。

  ```
  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>
  ```
+ Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
  + 同じテーブルから 2 つ以上のパーティションがスキャンされます。
  + 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、`s3://bucket/table/p=a` は `s3://bucket/table/p=a b` のプレフィックスです。
  + 他のパーティションディレクトリのプレフィックスに続く最初の文字が、`/` 文字 (U\$1002F) より小さい UTF-8 値を持ちます。例えば、`s3://bucket/table/p=a b` の a と b の間にあるスペース文字 (U\$10020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: `!"#$%&‘()*+,-`。詳細については、「[UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)」を参照してください。

  この問題の回避策として、`spark-defaults` 分類の `spark.sql.sources.fastS3PartitionDiscovery.enabled` 設定を `false` にセットします。

## 6.3.0 コンポーネントバージョン
<a name="emr-630-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.2.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.2.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.18.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.1.0 | EMR S3Select コネクター | 
| emrfs | 2.46.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.12.1 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.12.1 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-3 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-3 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-3 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-3 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-3 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-3 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-3 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-3 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-3 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-3 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-3 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.2.6-amzn-1 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.2.6-amzn-1 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.2.6-amzn-1 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.2.6-amzn-1 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.2.6-amzn-1 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hcatalog-client | 3.1.2-amzn-4 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.2-amzn-4 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-4 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.2-amzn-4 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.2-amzn-4 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.2-amzn-4 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.2-amzn-4 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.7.0-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.7.0-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-prestosql | 0.7.0-amzn-0 | PrestoSQL を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.7.0-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.9.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| jupyterhub | 1.2.2 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.0-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.7.0 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.68\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 10.1.243 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.0.0-HBase-2.0 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-query-server | 5.0.0-HBase-2.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.245.1-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.245.1-amzn-0 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.245.1-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| prestosql-coordinator | 350 | prestosql-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| prestosql-worker | 350 | いくつかのクエリを実行するサービス。 | 
| prestosql-client | 350 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 4.0.2 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.1.1-amzn-0 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.1.1-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.1.1-amzn-0 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.1.1-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 0.4.1 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.4.1 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.9.0 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.4.14 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.4.14 | ZooKeeper コマンドラインクライアント。 | 

## 6.3.0 設定分類
<a name="emr-630-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.3.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| prestosql-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-node | PrestoSQL の node.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-blackhole | PrestoSQL の blackhole.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-cassandra | PrestoSQL の cassandra.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-hive | PrestoSQL の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-connector-jmx | PrestoSQL の jmx.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-kafka | PrestoSQL の kafka.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-localfile | PrestoSQL の localfile.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-memory | PrestoSQL の memory.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-mongodb | PrestoSQL の mongodb.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-mysql | PrestoSQL の musql.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-postgresql | PrestoSQL の postgresql.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-raptor | PrestoSQL の raptor.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-redis | PrestoSQL の redis.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-redshift | PrestoSQL の redshift.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-tpch | PrestoSQL の tpcj.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-tpcds | PrestoSQL の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

# Amazon EMR リリース 6.2.1
<a name="emr-621-release"></a>

## 6.2.1 アプリケーションバージョン
<a name="emr-621-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://prestosql.io/](https://prestosql.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.2.1 | emr-6.2.0 | emr-6.1.1 | emr-6.1.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.880 | 1.11.880 | 1.11.828 | 1.11.828 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.2 | 1.11.2 | 1.11.0 | 1.11.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.6-amzn-0 | 2.2.6-amzn-0 | 2.2.5 | 2.2.5 | 
| HCatalog | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 
| Hadoop | 3.2.1-amzn-2.1 | 3.2.1-amzn-2 | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 
| Hive | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 
| Hudi | 0.6.0-amzn-1 | 0.6.0-amzn-1 | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 
| Hue | 4.8.0 | 4.8.0 | 4.7.1 | 4.7.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.7.0 | 1.6.0 | 1.6.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.238.3-amzn-1 | 0.238.3-amzn-1 | 0.232 | 0.232 | 
| Spark | 3.0.1-amzn-0.1 | 3.0.1-amzn-0 | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.3.1 | 2.3.1 | 2.1.0 | 2.1.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 343 | 343 | 338 | 338 | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.2.1 リリースノート
<a name="emr-621-relnotes"></a>

これは、Amazon EMR Scaling がクラスターを正常にスケールアップ/スケールダウンできない場合や、アプリケーション障害を引き起こした場合の問題点を修正するためのリリースです。

**変更、拡張、解決した問題**
+ Amazon EMR のクラスター上のデーモンが YARN ノード状態や HDFS ノード状態の収集などのヘルスチェックアクティビティを実行しているときに、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しました。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部の Amazon EMR コンポーネントに伝達できなかったために発生していました。
+ EMR のクラスター上のデーモンが改善され、IP アドレスが再利用されるときにノードの状態を正しく追跡できるようになり、スケーリング操作中の信頼性が向上しました。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。クラスターがスケールアップまたはスケールダウンを試みたときに YARN 廃止の競合状態が原因でジョブ障害が発生する問題を修正しました。
+ Amazon EMR のクラスター上のデーモンと YARN/HDFS の間でノードの状態が常に一致するようにすることで、クラスターのスケーリング中のステップまたはジョブの障害に関する問題を修正しました。
+ Kerberos 認証で有効になっている Amazon EMR クラスターで、スケールダウンやステップ送信などのクラスター操作が失敗する問題を修正しました。これは、Amazon EMR のクラスター上のデーモンが、プライマリノードで実行されている HDFS/YARN と安全に通信するために必要な Kerberos チケットを更新しなかったためです。
+ Amazon EMR の新しいリリースでは、Amazon EMR の古い AL2 で「最大オープンファイル」の上限が低い問題が修正されています。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれるようになりました。
+ Amazon Linux リポジトリでは、現在、HTTPS がデフォルトで有効になります。Amazon S3 VPCE ポリシーを使用して特定のバケットへのアクセスを制限する場合は、新しい Amazon Linux バケット ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` をポリシーに追加する (`$region` を、エンドポイントがあるリージョンに置き換える) 必要があります。詳細については、 AWS ディスカッションフォーラムのこのトピックを参照してください。[Announcement: Amazon Linux 2 now supports the ability to use HTTPS while connecting to package repositories ](https://forums.aws.amazon.com/ann.jspa?annID=8528) 

**既知の問題**
+ Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
  + 同じテーブルから 2 つ以上のパーティションがスキャンされます。
  + 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、`s3://bucket/table/p=a` は `s3://bucket/table/p=a b` のプレフィックスです。
  + 他のパーティションディレクトリのプレフィックスに続く最初の文字が、`/` 文字 (U\$1002F) より小さい UTF-8 値を持ちます。例えば、`s3://bucket/table/p=a b` の a と b の間にあるスペース文字 (U\$10020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: `!"#$%&‘()*+,-`。詳細については、「[UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)」を参照してください。

  この問題の回避策として、`spark-defaults` 分類の `spark.sql.sources.fastS3PartitionDiscovery.enabled` 設定を `false` にセットします。

## 6.2.1 コンポーネントバージョン
<a name="emr-621-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.1.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.0.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.16.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.0.0 | EMR S3Select コネクター | 
| emrfs | 2.44.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.11.2 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.11.2 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-2.1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-2.1 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-2.1 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-2.1 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-2.1 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-2.1 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-2.1 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-2.1 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-2.1 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-2.1 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-2.1 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.2.6-amzn-0 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.2.6-amzn-0 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.2.6-amzn-0 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.2.6-amzn-0 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.2.6-amzn-0 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hcatalog-client | 3.1.2-amzn-3 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.2-amzn-3 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-3 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.2-amzn-3 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.2-amzn-3 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.2-amzn-3 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.2-amzn-3 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.6.0-amzn-1 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.6.0-amzn-1 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-prestosql | 0.6.0-amzn-1 | PrestoSQL を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.6.0-amzn-1 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.8.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| jupyterhub | 1.1.0 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.0-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.7.0 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.64\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 10.1.243 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.0 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.0 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.4.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.0.0-HBase-2.0 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-query-server | 5.0.0-HBase-2.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.238.3-amzn-1 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.238.3-amzn-1 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.238.3-amzn-1 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| prestosql-coordinator | 343 | prestosql-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| prestosql-worker | 343 | いくつかのクエリを実行するサービス。 | 
| prestosql-client | 343 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 3.4.3 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.0.1-amzn-0.1 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.0.1-amzn-0.1 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.0.1-amzn-0.1 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.0.1-amzn-0.1 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 0.2.0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.3.1 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.9.0-preview1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.4.14 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.4.14 | ZooKeeper コマンドラインクライアント。 | 

## 6.2.1 設定分類
<a name="emr-621-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.2.1 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Not available. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Not available. | 
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties の設定を変更します。 | Not available. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Not available. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| prestosql-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-node | PrestoSQL の node.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-blackhole | PrestoSQL の blackhole.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-cassandra | PrestoSQL の cassandra.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-hive | PrestoSQL の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-connector-jmx | PrestoSQL の jmx.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-kafka | PrestoSQL の kafka.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-localfile | PrestoSQL の localfile.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-memory | PrestoSQL の memory.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-mongodb | PrestoSQL の mongodb.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-mysql | PrestoSQL の musql.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-postgresql | PrestoSQL の postgresql.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-raptor | PrestoSQL の raptor.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-redis | PrestoSQL の redis.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-redshift | PrestoSQL の redshift.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-tpch | PrestoSQL の tpcj.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-tpcds | PrestoSQL の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

# Amazon EMR リリース 6.2.0
<a name="emr-620-release"></a>

## 6.2.0 アプリケーションバージョン
<a name="emr-620-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://prestosql.io/](https://prestosql.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.2.0 | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.880 | 1.11.828 | 1.11.828 | 1.11.711 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.2 | 1.11.0 | 1.11.0 |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.6-amzn-0 | 2.2.5 | 2.2.5 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-2 | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 
| Hive | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 
| Hudi | 0.6.0-amzn-1 | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.8.0 | 4.7.1 | 4.7.1 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 
| MXNet | 1.7.0 | 1.6.0 | 1.6.0 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.1.0 | 
| Phoenix | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 |  -  | 
| Presto | 0.238.3-amzn-1 | 0.232 | 0.232 | 0.230 | 
| Spark | 3.0.1-amzn-0 | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 |  -  | 
| TensorFlow | 2.3.1 | 2.1.0 | 2.1.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 343 | 338 | 338 |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.2.0 リリースノート
<a name="emr-620-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.2.0 に関する情報が含まれています。6.1.0 からの変更が含まれています。

初回リリース日: 2020 年 12 月 9 日

最終更新日: 2021 年 10 月 4 日

**サポートされているアプリケーション**
+ AWS SDK for Java バージョン 1.11.828
+ emr-record-server バージョン 1.7.0
+ Flink バージョン 1.11.2
+ Ganglia バージョン 3.7.2
+ Hadoop バージョン 3.2.1-amzn-1
+ HBase バージョン 2.2.6-amzn-0
+ HBase-operator-tools 1.0.0
+ HCatalog バージョン 3.1.2-amzn-0
+ Hive バージョン 3.1.2-amzn-3
+ Hudi バージョン 0.6.0-amzn-1
+ Hue バージョン 4.8.0
+ JupyterHub バージョン 1.1.0
+ Livy バージョン 0.7.0
+ MXNet バージョン 1.7.0
+ Oozie バージョン 5.2.0
+ Phoenix バージョン 5.0.0
+ Pig バージョン 0.17.0
+ Presto バージョン 0.238.3-amzn-1
+ PrestoSQL バージョン 343
+ Spark バージョン 3.0.1-amzn-0
+ spark-rapids 0.2.0
+ TensorFlow バージョン 2.3.1
+ Zeppelin バージョン 0.9.0-preview1
+ Zookeeper バージョン 3.4.14
+ コネクタおよびドライバー: DynamoDB Connector 4.16.0

**新機能**
+ HBase: コミットフェーズでの名前変更を削除し、永続的 HFile トラッキングを追加しました。「*Amazon EMR リリース ガイド*」の「[永続的 HFile トラッキング](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-s3.html#emr-hbase-s3-hfile-tracking)」を参照してください。
+ HBase:「[Create a config that forces to cache blocks on compaction](https://issues.apache.org/jira/browse/HBASE-23066)」をバックポートしました。
+ PrestoDB: ダイナミックパーティションプルーニングの改善。ルールベースの結合順序は、パーティション分割されていないデータに対して機能します。
+ スコープ管理ポリシー: AWS ベストプラクティスに合わせて、Amazon EMR は廃止されるポリシーの代替として v2 EMR スコープのデフォルト管理ポリシーを導入しました。「[Amazon EMR 管理ポリシー](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-iam-policies.html)」を参照してください。
+ インスタンスメタデータサービス (IMDS) V2 サポートステータス: Amazon EMR 6.2 以降では、Amazon EMR コンポーネントはすべての IMDS 呼び出しに IMDSv2 を使用します。アプリケーションコードでの IMDS 呼び出しでは、IMDSv1 と IMDSv2 の両方を使用するか、または、セキュリティを強化するために IMDSv2 のみを使用するように IMDS を設定できます。以前の Amazon EMR 6.x リリースで IMDSv1 を無効にすると、クラスターの起動が失敗します。

**変更点、機能強化、解決した問題**
+ これは、Amazon EMR Scaling がクラスターを正常にスケールアップ/スケールダウンできない場合や、アプリケーション障害を引き起こした場合の問題点を修正するためのリリースです。
+ Amazon EMR のクラスター上のデーモンが YARN ノード状態や HDFS ノード状態の収集などのヘルスチェックアクティビティを実行しているときに、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しました。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部の Amazon EMR コンポーネントに伝達できなかったために発生していました。
+ EMR のクラスター上のデーモンが改善され、IP アドレスが再利用されるときにノードの状態を正しく追跡できるようになり、スケーリング操作中の信頼性が向上しました。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。クラスターがスケールアップまたはスケールダウンを試みたときに YARN 廃止の競合状態が原因でジョブ障害が発生する問題を修正しました。
+ Amazon EMR のクラスター上のデーモンと YARN/HDFS の間でノードの状態が常に一致するようにすることで、クラスターのスケーリング中のステップまたはジョブの障害に関する問題を修正しました。
+ Kerberos 認証で有効になっている Amazon EMR クラスターで、スケールダウンやステップ送信などのクラスター操作が失敗する問題を修正しました。これは、Amazon EMR のクラスター上のデーモンが、プライマリノードで実行されている HDFS/YARN と安全に通信するために必要な Kerberos チケットを更新しなかったためです。
+ Amazon EMR の新しいリリースでは、Amazon EMR の古い AL2 で「最大オープンファイル」の上限が低い問題が修正されています。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれるようになりました。
+ Spark: Spark ランタイムのパフォーマンスが向上しました。

**既知の問題**
+ Amazon EMR 6.2 で、EMR 6.2.0 の /etc/cron.d/libinstance-controller-java ファイルに対して正しくないアクセス許可が設定されています。ファイルに対するアクセス許可は、644 (-rw-r—r—) であるべきときに 645 (-rw-r--r-x) になります。その結果、Amazon EMR バージョン 6.2 ではインスタンス状態ログが記録されず、/emr/instance-logs ディレクトリは空になります。この問題は、Amazon EMR 6.3.0 以降で修正されています。

  この問題を回避するには、クラスター起動時に以下のスクリプトをブートストラップアクションとして実行します。

  ```
  #!/bin/bash
  sudo chmod 644 /etc/cron.d/libinstance-controller-java
  ```
+ Amazon EMR 6.2.0 および 6.3.0 のプライベートサブネットクラスターで、Ganglia ウェブ UI にアクセスできません。「アクセス拒否 (403)」というエラーが表示されます。Spark、Hue、JupyterHub、Zeppelin、Livy、Tez などの他のウェブ UI は正常に動作します。パブリックサブネットクラスターでの Ganglia ウェブ UI アクセスも正常に動作します。この問題を解決するには、`sudo systemctl restart httpd` を使用してプライマリノードで httpd サービスを再起動します。この問題は、Amazon EMR 6.4.0 で修正されています。
+ Amazon EMR 6.2.0 で、httpd が連続して失敗し、Ganglia が利用できないという問題があります。「サーバーに接続できません」というエラーが表示されます。この問題が発生している、既に実行されているクラスターを修正するには、クラスターのプライマリノードに SSH 接続して、`/etc/httpd/conf/httpd.conf` にあるファイル `httpd.conf` に行 `Listen 80` を追加します。この問題は、Amazon EMR 6.3.0 で修正されています。
+ セキュリティ設定を使用している場合、EMR 6.2.0 クラスターで HTTPD が失敗します。これにより、Ganglia ウェブアプリケーションのユーザーインターフェイスが使用できなくなります。Ganglia ウェブアプリケーションのユーザーインターフェイスにアクセスするには、クラスターのプライマリノード上の `/etc/httpd/conf/httpd.conf` ファイルに `Listen 80` を追加します。クラスターへの接続の詳細については、「[SSH を使用してプライマリノードに接続する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html)」を参照してください。

  EMR Notebooks では、セキュリティ構成を使用する場合、EMR 6.2.0 クラスターとの接続の確立にも失敗します。ノートブックは、カーネルのリストと Spark ジョブの送信に失敗します。代わりに、別のバージョンの Amazon EMR で EMR Notebooks を使用することをお勧めします。
+ **古い AL2 で「最大オープンファイル」の上限が低い [新しいリリースで修正済み]。**Amazon EMR リリース emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0、および emr-6.2.0 は、古いバージョンの Amazon Linux 2 (AL2) に基づいており、デフォルトの AMI を使用して Amazon EMR クラスターを作成する場合に「最大オープンファイル」の ulimit 設定が低くなります。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれています。オープンファイルの上限が低いリリースでは、Spark ジョブを送信するときに「Too many open files」というエラーが発生します。影響を受けるリリースでは、Amazon EMR のデフォルト AMI の「最大オープンファイル」はデフォルトの ulimit 設定 4096 になっており、最新の Amazon Linux 2 AMI の上限 65536 ファイルよりも低くなっています。「最大オープンファイル」の ulimit 設定が低い場合、Spark ドライバーとエグゼキュータが 4096 を超えるファイルを開こうとすると、Spark ジョブが失敗します。この問題を解決するために、Amazon EMR には、クラスターの作成時に ulimit 設定を調整するブートストラップアクション (BA) スクリプトが用意されています。

  この問題の永続的な修正がない古い Amazon EMR バージョンを使用している場合は、以下の回避策を使用すると、instance-controller ulimit を最大の 65536 ファイルに明示的に設定できます。

**コマンドラインから ulimit を明示的に設定する**

  1. `/etc/systemd/system/instance-controller.service` を編集して、Service セクションに次のパラメータを追加します。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. InstanceController を再起動します。

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **ブートストラップアクション (BA) を使用して ulimit を設定する**

  ブートストラップアクション (BA) スクリプトを使用して、クラスター作成時にインスタンスコントローラーの ulimit を 65536 ファイルに設定することもできます。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ 
**重要**  
Amazon EMR 6.1.0 および 6.2.0 には、Hudi の挿入、アップサート、および削除操作すべてに大きな影響を及ぼす可能性があるパフォーマンスの問題が含まれています。Amazon EMR 6.1.0 または 6.2.0 で Hudi を使用する予定がある場合は、 AWS サポートに連絡してパッチが適用された Hudi RPM を取得する必要があります。
+ 
**重要**  
Amazon Linux または Amazon Linux 2 Amazon マシンイメージ (AMI) を実行する EMR クラスターは、デフォルトの Amazon Linux 動作を使用します。再起動が必要な重要かつクリティカルなカーネル更新が自動的にダウンロードされてインストールされることはありません。これは、デフォルトの Amazon Linux AMI を実行している他の Amazon EC2 インスタンスと同じ動作です。Amazon EMR リリースが利用可能になった後に、再起動が必要な新しい Amazon Linux ソフトウェアアップデート (カーネル、NVIDIA、CUDA のアップデートなど) が使用可能になった場合、デフォルトの AMI を実行する EMR クラスターインスタンスで、それらの更新が自動的にダウンロードされてインストールされることはありません。カーネルの更新を取得するには、[Amazon EMR AMI をカスタマイズ](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)して、[最新の Amazon Linux AMI を使用](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/finding-an-ami.html)できるようにします。
+ Amazon EMR 6.2.0 の Maven アーティファクトは公開されません。これらは Amazon EMR の将来のリリースで公開される予定です。
+ HBase ストアファイルシステムテーブルを使用した永続的な HFile トラッキングは、HBase リージョンのレプリケーション機能をサポートしていません。HBase リージョンレプリケーションの詳細については、「[Timeline-consistent High Available Reads](http://hbase.apache.org/book.html#arch.timelineconsistent.reads)」を参照してください。
+ Amazon EMR 6.x と EMR 5.x の Hive バケット化バージョンの違い

  EMR 5.x では OOS Apache Hive 2 を使用していますが、EMR 6.x では OOS Apache Hive 3を使用しています。オープンソースの Hive2 ではバケット化バージョン 1 を使用していますが、オープンソースの Hive3 ではバケット化バージョン 2 を使用しています。Hive 2 (EMR 5.x) と Hive 3 (EMR 6.x) のこのバケット化バージョンの違いは、Hive のバケット化ハッシュ関数が異なることを意味します。以下の例を参照してください。

  次の表は、それぞれ EMR 6.x および EMR 5.x で作成した例です。

  ```
  -- Using following LOCATION in EMR 6.x
  CREATE TABLE test_bucketing (id INT, desc STRING)
  PARTITIONED BY (day STRING)
  CLUSTERED BY(id) INTO 128 BUCKETS
  LOCATION 's3://your-own-s3-bucket/emr-6-bucketing/';
  
  -- Using following LOCATION in EMR 5.x 
  LOCATION 's3://your-own-s3-bucket/emr-5-bucketing/';
  ```

  EMR 6.x と EMR 5.x の両方に同じデータを挿入しています。

  ```
  INSERT INTO test_bucketing PARTITION (day='01') VALUES(66, 'some_data');
  INSERT INTO test_bucketing PARTITION (day='01') VALUES(200, 'some_data');
  ```

  S3 の場所を確認すると、バケット化ファイル名が異なることが示されています。これは、ハッシュ関数が EMR 6.x (Hive 3) と EMR 5.x (Hive 2) で異なるためです。

  ```
  [hadoop@ip-10-0-0-122 ~]$ aws s3 ls s3://your-own-s3-bucket/emr-6-bucketing/day=01/
  2020-10-21 20:35:16         13 000025_0
  2020-10-21 20:35:22         14 000121_0
  [hadoop@ip-10-0-0-122 ~]$ aws s3 ls s3://your-own-s3-bucket/emr-5-bucketing/day=01/
  2020-10-21 20:32:07         13 000066_0
  2020-10-21 20:32:51         14 000072_0
  ```

  EMR 6.x で、Hive CLI で次のコマンドを実行し、バージョンの違いを確認することもできます。バケット化バージョン 2 が返されることに注意してください。

  ```
  hive> DESCRIBE FORMATTED test_bucketing;
  ...
  Table Parameters:
      bucketing_version       2
  ...
  ```
+ 複数のプライマリノードと Kerberos 認証を使用するクラスターの既知の問題

  Amazon EMR リリース 5.20.0 以降で複数のプライマリノードと Kerberos 認証を使用してクラスターを実行すると、クラスターをしばらく実行した後で、スケールダウンやステップの送信などのクラスターオペレーションに問題が発生する可能性があります。期間は、定義した Kerberos チケットの有効期間によって異なります。スケールダウンの問題は、自動スケールダウンリクエストと送信した明示的なスケールダウンリクエストの両方に影響します。その他のクラスターオペレーションも影響を受ける可能性があります。

  回避方法:
  + 複数のプライマリノードを持つ EMR クラスターのリードプライマリノードに `hadoop` ユーザーとして SSH 接続します。
  +  次のコマンドを実行して `hadoop` ユーザーの Kerberos チケットを更新します。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常、キータブファイルは `/etc/hadoop.keytab` にあります。プリンシパルの形式は `hadoop/<hostname>@<REALM>` です。
**注記**  
この回避策は、Kerberos チケットが有効になっている期間、効果があります。この期間はデフォルトで 10 時間ですが、Kerberos の設定で構成できます。Kerberos チケットの有効期限が切れたら、上記のコマンドを再実行する必要があります。
+ Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
  + 同じテーブルから 2 つ以上のパーティションがスキャンされます。
  + 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、`s3://bucket/table/p=a` は `s3://bucket/table/p=a b` のプレフィックスです。
  + 他のパーティションディレクトリのプレフィックスに続く最初の文字が、`/` 文字 (U\$1002F) より小さい UTF-8 値を持ちます。例えば、`s3://bucket/table/p=a b` の a と b の間にあるスペース文字 (U\$10020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: `!"#$%&‘()*+,-`。詳細については、「[UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)」を参照してください。

  この問題の回避策として、`spark-defaults` 分類の `spark.sql.sources.fastS3PartitionDiscovery.enabled` 設定を `false` にセットします。

## 6.2.0 コンポーネントバージョン
<a name="emr-620-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.1.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-notebook-env | 1.0.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env  | 
| emr-s3-dist-cp | 2.16.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.0.0 | EMR S3Select コネクター | 
| emrfs | 2.44.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.11.2 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| flink-jobmanager-config | 1.11.2 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-2 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-2 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-2 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-2 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-2 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-2 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-2 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-2 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-2 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-2 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-2 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.2.6-amzn-0 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.2.6-amzn-0 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.2.6-amzn-0 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.2.6-amzn-0 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.2.6-amzn-0 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hcatalog-client | 3.1.2-amzn-3 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.2-amzn-3 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-3 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.2-amzn-3 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.2-amzn-3 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.2-amzn-3 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.2-amzn-3 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.6.0-amzn-1 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.6.0-amzn-1 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-prestosql | 0.6.0-amzn-1 | PrestoSQL を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.6.0-amzn-1 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.8.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| jupyterhub | 1.1.0 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.0-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.7.0 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.64\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 10.1.243 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.0 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.0 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.4.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.0.0-HBase-2.0 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-query-server | 5.0.0-HBase-2.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.238.3-amzn-1 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.238.3-amzn-1 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.238.3-amzn-1 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| prestosql-coordinator | 343 | prestosql-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| prestosql-worker | 343 | いくつかのクエリを実行するサービス。 | 
| prestosql-client | 343 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 3.4.3 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.0.1-amzn-0 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.0.1-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.0.1-amzn-0 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.0.1-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| spark-rapids | 0.2.0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.3.1 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.9.0-preview1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.4.14 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.4.14 | ZooKeeper コマンドラインクライアント。 | 

## 6.2.0 設定分類
<a name="emr-620-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。


**emr-6.2.0 の分類**  

| 分類 | 説明 | 再設定アクション | 
| --- | --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Docker 関連の設定を変更します。 | Not available. | 
| emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | flink-conf.yaml の設定を変更します。 | Not available. | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | Not available. | 
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties の設定を変更します。 | Not available. | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Not available. | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. | 
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS ZKFC. | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. | 
| hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. | 
| hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Hudi 環境の値を変更します。 | Not available. | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | Not available. | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. | 
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | Restarts Livy Server. | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. | 
| pig-env | Pig 環境の値を変更します。 | Not available. | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. | 
| prestosql-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-node | PrestoSQL の node.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-blackhole | PrestoSQL の blackhole.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-cassandra | PrestoSQL の cassandra.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-hive | PrestoSQL の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-connector-jmx | PrestoSQL の jmx.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-kafka | PrestoSQL の kafka.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-localfile | PrestoSQL の localfile.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-memory | PrestoSQL の memory.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-mongodb | PrestoSQL の mongodb.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-mysql | PrestoSQL の musql.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-postgresql | PrestoSQL の postgresql.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-raptor | PrestoSQL の raptor.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-redis | PrestoSQL の redis.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-redshift | PrestoSQL の redshift.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-tpch | PrestoSQL の tpcj.properties ファイルの値を変更します。 | Not available. | 
| prestosql-connector-tpcds | PrestoSQL の tpcds.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Sqoop の環境の値を変更します。 | Not available. | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie. | 
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. | 

# Amazon EMR リリース 6.1.1
<a name="emr-611-release"></a>

## 6.1.1 アプリケーションバージョン
<a name="emr-611-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://prestosql.io/](https://prestosql.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 
| Pig | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.1.1 リリースノート
<a name="emr-611-relnotes"></a>

これは、Amazon EMR Scaling がクラスターを正常にスケールアップ/スケールダウンできない場合や、アプリケーション障害を引き起こした場合の問題点を修正するためのリリースです。

**変更、拡張、解決した問題**
+ Amazon EMR のクラスター上のデーモンが YARN ノード状態や HDFS ノード状態の収集などのヘルスチェックアクティビティを実行しているときに、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しました。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部の Amazon EMR コンポーネントに伝達できなかったために発生していました。
+ EMR のクラスター上のデーモンが改善され、IP アドレスが再利用されるときにノードの状態を正しく追跡できるようになり、スケーリング操作中の信頼性が向上しました。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。クラスターがスケールアップまたはスケールダウンを試みたときに YARN 廃止の競合状態が原因でジョブ障害が発生する問題を修正しました。
+ Amazon EMR のクラスター上のデーモンと YARN/HDFS の間でノードの状態が常に一致するようにすることで、クラスターのスケーリング中のステップまたはジョブの障害に関する問題を修正しました。
+ Kerberos 認証で有効になっている Amazon EMR クラスターで、スケールダウンやステップ送信などのクラスター操作が失敗する問題を修正しました。これは、Amazon EMR のクラスター上のデーモンが、プライマリノードで実行されている HDFS/YARN と安全に通信するために必要な Kerberos チケットを更新しなかったためです。
+ Amazon EMR の新しいリリースでは、Amazon EMR の古い AL2 で「最大オープンファイル」の上限が低い問題が修正されています。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれるようになりました。
+ Amazon Linux リポジトリでは、現在、HTTPS がデフォルトで有効になります。Amazon S3 VPCE ポリシーを使用して特定のバケットへのアクセスを制限する場合は、新しい Amazon Linux バケット ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` をポリシーに追加する (`$region` を、エンドポイントがあるリージョンに置き換える) 必要があります。詳細については、 AWS ディスカッションフォーラムのこのトピックを参照してください。[Announcement: Amazon Linux 2 now supports the ability to use HTTPS while connecting to package repositories ](https://forums.aws.amazon.com/ann.jspa?annID=8528) 

## 6.1.1 コンポーネントバージョン
<a name="emr-611-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.3.0 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.14.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.1.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-s3-dist-cp | 2.14.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.0.0 | EMR S3Select コネクター | 
| emrfs | 2.42.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.11.0 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-1.1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-1.1 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-1.1 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-1.1 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-1.1 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-1.1 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-1.1 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-1.1 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-1.1 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-1.1 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-1.1 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.2.5 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.2.5 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.2.5 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.2.5 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.2.5 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hcatalog-client | 3.1.2-amzn-2 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.2-amzn-2 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-2 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.2-amzn-2 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.2-amzn-2 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.2-amzn-2 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.2-amzn-2 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.5.2-incubating-amzn-2 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.5.2-incubating-amzn-2 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-prestosql | 0.5.2-incubating-amzn-2 | PrestoSQL を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.5.2-incubating-amzn-2 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.7.1 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| jupyterhub | 1.1.0 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.0-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.6.0 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.64\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 9.2.88 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.0 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.0 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.3.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.0.0-HBase-2.0 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-query-server | 5.0.0-HBase-2.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.232 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.232 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.232 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| prestosql-coordinator | 338 | prestosql-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| prestosql-worker | 338 | いくつかのクエリを実行するサービス。 | 
| prestosql-client | 338 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 3.4.3 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.0.0-amzn-0.1 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.0.0-amzn-0.1 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.0.0-amzn-0.1 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.0.0-amzn-0.1 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.1.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.9.0-preview1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.4.14 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.4.14 | ZooKeeper コマンドラインクライアント。 | 

## 6.1.1 設定分類
<a name="emr-611-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。


**emr-6.1.1 の分類**  

| 分類 | 説明 | 
| --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | 
| emrfs-site | EMRFS の設定を変更します。 | 
| flink-conf | flink-conf.yaml の設定を変更します。 | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | 
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties の設定を変更します。 | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | 
| hbase-env | HBase の環境の値を変更します。 | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | 
| hdfs-env | HDFS 環境の値を変更します。 | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | 
| hcatalog-env | HCatalog 環境の値を変更します。 | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | 
| hive-env | Hive 環境の値を変更します。 | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | 
| hue-ini | Hue の ini ファイルの値を変更します | 
| httpfs-env | HTTPFS 環境の値を変更します。 | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | 
| hudi-env | Hudi 環境の値を変更します。 | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | 
| livy-env | Livy 環境の値を変更します。 | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | 
| oozie-env | Oozie の環境の値を変更します。 | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | 
| pig-env | Pig 環境の値を変更します。 | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | 
| prestosql-log | Presto の log.properties ファイルの値を変更します。 | 
| prestosql-config | Presto の config.properties ファイルの値を変更します。 | 
| prestosql-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | 
| prestosql-env | Presto の presto-env.sh ファイルの値を変更します。 | 
| prestosql-node | PrestoSQL の node.properties ファイルの値を変更します。 | 
| prestosql-connector-blackhole | PrestoSQL の blackhole.properties ファイルの値を変更します。 | 
| prestosql-connector-cassandra | PrestoSQL の cassandra.properties ファイルの値を変更します。 | 
| prestosql-connector-hive | PrestoSQL の hive.properties ファイルの値を変更します。 | 
| prestosql-connector-jmx | PrestoSQL の jmx.properties ファイルの値を変更します。 | 
| prestosql-connector-kafka | PrestoSQL の kafka.properties ファイルの値を変更します。 | 
| prestosql-connector-localfile | PrestoSQL の localfile.properties ファイルの値を変更します。 | 
| prestosql-connector-memory | PrestoSQL の memory.properties ファイルの値を変更します。 | 
| prestosql-connector-mongodb | PrestoSQL の mongodb.properties ファイルの値を変更します。 | 
| prestosql-connector-mysql | PrestoSQL の musql.properties ファイルの値を変更します。 | 
| prestosql-connector-postgresql | PrestoSQL の postgresql.properties ファイルの値を変更します。 | 
| prestosql-connector-raptor | PrestoSQL の raptor.properties ファイルの値を変更します。 | 
| prestosql-connector-redis | PrestoSQL の redis.properties ファイルの値を変更します。 | 
| prestosql-connector-redshift | PrestoSQL の redshift.properties ファイルの値を変更します。 | 
| prestosql-connector-tpch | PrestoSQL の tpcj.properties ファイルの値を変更します。 | 
| prestosql-connector-tpcds | PrestoSQL の tpcds.properties ファイルの値を変更します。 | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | 
| spark-env | Spark 環境の値を変更します。 | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | 
| sqoop-env | Sqoop の環境の値を変更します。 | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | 
| yarn-env | YARN 環境の値を変更します。 | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | 

# Amazon EMR リリース 6.1.0
<a name="emr-610-release"></a>

## 6.1.0 アプリケーションバージョン
<a name="emr-610-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://prestosql.io/](https://prestosql.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 
| Pig | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.1.0 リリースノート
<a name="emr-610-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.1.0 に関する情報が含まれています。6.0.0 からの変更が含まれています。

初回リリース日: 2020 年 9 月 4 日

最終更新日: 2020 年 10 月 15 日

**サポートされているアプリケーション**
+ AWS SDK for Java バージョン 1.11.828
+ Flink バージョン 1.11.0
+ Ganglia バージョン 3.7.2
+ Hadoop バージョン 3.2.1-amzn-1
+ HBase バージョン 2.2.5
+ HBase-operator-tools 1.0.0
+ HCatalog バージョン 3.1.2-amzn-0
+ Hive バージョン 3.1.2-amzn-1
+ Hudi バージョン 0.5.2-incubating
+ Hue バージョン 4.7.1
+ JupyterHub バージョン 1.1.0
+ Livy バージョン 0.7.0
+ MXNet バージョン 1.6.0
+ Oozie バージョン 5.2.0
+ Phoenix バージョン 5.0.0
+ Presto バージョン 0.232
+ PrestoSQL バージョン 338
+ Spark バージョン 3.0.0-amzn-0
+ TensorFlow バージョン 2.1.0
+ Zeppelin バージョン 0.9.0-preview1
+ Zookeeper バージョン 3.4.14
+ コネクタおよびドライバー: DynamoDB Connector 4.14.0

**新機能**
+ ARM インスタンスタイプは、Amazon EMR バージョン 5.30.0 以降および Amazon EMR バージョン 6.1.0 以降でサポートされています。
+ M6g 汎用インスタンスタイプは、Amazon EMR バージョン 6.1.0 以降および Amazon EMR バージョン 5.30.0 以降でサポートされています。詳細については、「*Amazon EMR 管理ガイド*」の「[サポートされるインスタンスタイプ](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-supported-instance-types.html)」を参照してください。
+ EC2 プレイスメントグループ機能は、複数のプライマリノードクラスターのオプションとして Amazon EMR バージョン 5.23.0 以降でサポートされています。現在、プレイスメントグループ機能ではプライマリノードタイプのみがサポートされており、`SPREAD` ストラテジーは、これらのプライマリノードに適用されます。`SPREAD` 戦略では、ハードウェア障害の発生時に複数のプライマリノードが失われるのを防ぐため、少数のインスタンスを別個の基盤となるハードウェア全体に配置します。詳細については、「*Amazon EMR 管理ガイド*」の「[EC2 プレイスメントグループと EMR の統合](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-placementgroup.html)」を参照してください。
+ マネージドスケーリング - Amazon EMR バージョン 6.1.0 では、Amazon EMR Managed Scaling を有効にすることで、ワークロードに応じてクラスター内のインスタンスやユニットの数を自動的に増減できます。Amazon EMR は引き続きクラスターのメトリクスを評価し、クラスターのコストと速度を最適化するためのスケーリングを決定します。マネージドスケーリングは、Amazon EMR バージョン 5.30.0 以降 (6.0.0 を除く) でも使用できます。詳細については、「*Amazon EMR 管理ガイド*」の「[クラスターリソースのスケーリング](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scale-on-demand.html)」を参照してください。
+ PrestoSQL バージョン 338 は EMR 6.1.0 でサポートされています。詳細については、「[Presto](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto.html)」を参照してください。
  + PrestoSQL は EMR 6.1.0 以降のバージョンでのみサポートされています。EMR 6.0.0 および EMR 5.x ではサポートされていません。
  + アプリケーション名 `Presto` は、クラスターに PrestoDB をインストールするために引き続き使用されます。クラスターに PrestoDB をインストールするには、アプリケーション名 `PrestoSQL` を使用します。
  + PrestoDB または PrestoSQL のいずれかをインストールできますが、両方を 1 つのクラスターにインストールすることはできません。クラスターの作成時に PrestoDB と PrestoSQL の両方を指定すると、検証エラーが発生し、クラスター作成リクエストは失敗します。
  + PrestoSQL は、シングルマスタークラスターとマルチマスタークラスターの両方でサポートされています。マルチマスタークラスターでは、PrestoSQL または PrestoDB を実行するには、外部 Hive メタストアが必要です。「[複数のプライマリノードを持つ Amazon EMR クラスターでサポートされるアプリケーション](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-applications.html#emr-plan-ha-applications-list)」を参照してください。
+ Docker を使用した Apache Hadoop および Apache Spark での ECR 自動認証サポート: Spark ユーザーは、Docker Hub および Amazon Elastic Container Registry (Amazon ECR) の Docker イメージを使用して、環境とライブラリの依存関係を定義できます。

  [Docker を設定](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-docker.html)し、[Amazon EMR 6.x を使用して Docker で Spark アプリケーションを実行](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-docker.html)します。
+ EMR は Apache Hive ACID トランザクションをサポートしています。Amazon EMR 6.1.0 では、データベースの ACID プロパティに準拠するように Hive ACID トランザクションのサポートが追加されています。この機能を使用すると、Amazon Simple Storage Service (Amazon S3) のデータを使用して Hive マネージドテーブルで `INSERT, UPDATE, DELETE,` および `MERGE` の各オペレーションを実行できます。これは、ストリーミングの取り込み、データの再記述、MERGE を使用した一括更新、徐々に変化するディメンションなどのユースケースにとって重要な機能です。設定例とユースケースを含め、詳細については、「[Amazon EMR supports Apache Hive ACID transactions](https://aws.amazon.com/blogs/big-data/amazon-emr-supports-apache-hive-acid-transactions)」を参照してください。

**変更点、機能強化、解決した問題**
+ これは、Amazon EMR Scaling がクラスターを正常にスケールアップ/スケールダウンできない場合や、アプリケーション障害を引き起こした場合の問題点を修正するためのリリースです。
+ Amazon EMR のクラスター上のデーモンが YARN ノード状態や HDFS ノード状態の収集などのヘルスチェックアクティビティを実行しているときに、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しました。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部の Amazon EMR コンポーネントに伝達できなかったために発生していました。
+ EMR のクラスター上のデーモンが改善され、IP アドレスが再利用されるときにノードの状態を正しく追跡できるようになり、スケーリング操作中の信頼性が向上しました。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。クラスターがスケールアップまたはスケールダウンを試みたときに YARN 廃止の競合状態が原因でジョブ障害が発生する問題を修正しました。
+ Amazon EMR のクラスター上のデーモンと YARN/HDFS の間でノードの状態が常に一致するようにすることで、クラスターのスケーリング中のステップまたはジョブの障害に関する問題を修正しました。
+ Kerberos 認証で有効になっている Amazon EMR クラスターで、スケールダウンやステップ送信などのクラスター操作が失敗する問題を修正しました。これは、Amazon EMR のクラスター上のデーモンが、プライマリノードで実行されている HDFS/YARN と安全に通信するために必要な Kerberos チケットを更新しなかったためです。
+ Amazon EMR の新しいリリースでは、Amazon EMR の古い AL2 で「最大オープンファイル」の上限が低い問題が修正されています。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれるようになりました。
+ Apache Flink は EMR 6.0.0 ではサポートされていませんが、Flink 1.11.0 と EMR 6.1.0 ではサポートされています。これは、Hadoop 3 を公式にサポートする Flink の最初のバージョンです。「[Apache Flink 1.11.0 Release Announcement](https://flink.apache.org/news/2020/07/06/release-1.11.0.html)」を参照してください。
+ Ganglia はデフォルトの EMR 6.1.0 パッケージバンドルから削除されました。

**既知の問題**
+ **古い AL2 で「最大オープンファイル」の上限が低い [新しいリリースで修正済み]。**Amazon EMR リリース emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0、および emr-6.2.0 は、古いバージョンの Amazon Linux 2 (AL2) に基づいており、デフォルトの AMI を使用して Amazon EMR クラスターを作成する場合に「最大オープンファイル」の ulimit 設定が低くなります。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれています。オープンファイルの上限が低いリリースでは、Spark ジョブを送信するときに「Too many open files」というエラーが発生します。影響を受けるリリースでは、Amazon EMR のデフォルト AMI の「最大オープンファイル」はデフォルトの ulimit 設定 4096 になっており、最新の Amazon Linux 2 AMI の上限 65536 ファイルよりも低くなっています。「最大オープンファイル」の ulimit 設定が低い場合、Spark ドライバーとエグゼキュータが 4096 を超えるファイルを開こうとすると、Spark ジョブが失敗します。この問題を解決するために、Amazon EMR には、クラスターの作成時に ulimit 設定を調整するブートストラップアクション (BA) スクリプトが用意されています。

  この問題の永続的な修正がない古い Amazon EMR バージョンを使用している場合は、以下の回避策を使用すると、instance-controller ulimit を最大の 65536 ファイルに明示的に設定できます。

**コマンドラインから ulimit を明示的に設定する**

  1. `/etc/systemd/system/instance-controller.service` を編集して、Service セクションに次のパラメータを追加します。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. InstanceController を再起動します。

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **ブートストラップアクション (BA) を使用して ulimit を設定する**

  ブートストラップアクション (BA) スクリプトを使用して、クラスター作成時にインスタンスコントローラーの ulimit を 65536 ファイルに設定することもできます。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ 
**重要**  
Amazon EMR 6.1.0 および 6.2.0 には、Hudi の挿入、アップサート、および削除操作すべてに大きな影響を及ぼす可能性があるパフォーマンスの問題が含まれています。Amazon EMR 6.1.0 または 6.2.0 で Hudi を使用する予定がある場合は、 AWS サポートに連絡してパッチが適用された Hudi RPM を取得する必要があります。
+ `spark.driver.extraJavaOptions` と `spark.executor.extraJavaOptions` を使用してカスタムのガベージコレクション設定を指定すると、ガベージコレクション設定の競合のために、EMR 6.1 でドライバー/エグゼキュターの起動に失敗します。EMR リリース 6.1.0 では、代わりにプロパティ `spark.driver.defaultJavaOptions` と `spark.executor.defaultJavaOptions` を使用して、ドライバーとエグゼキュターのカスタムの Spark ガベージコレクション設定を指定する必要があります。詳細については、「[Apache Spark のランタイム環境](https://spark.apache.org/docs/latest/configuration.html#runtime-environment)」および「[Amazon EMR 6.1.0 での Spark ガベージコレクションの設定](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html#spark-gc-config)」を参照してください。
+ Oozie で Pig を (Hue 内で。Hue では、Oozie アクションを使用して Pig スクリプトを実行するため) 使用すると、native-lzo ライブラリをロードできないというエラーが生成されます。このエラーメッセージは情報であるため、Pig の実行はブロックされません。
+ Hudi 同時実行のサポート: 現在、Hudi は単一の Hudi テーブルへの同時書き込みをサポートしていません。さらに、Hudi は新しいライターの起動を許可する前に、進行中のライターによって行われた変更をロールバックします。同時書き込みは、このメカニズムを妨げて、競合状態を引き起こし、データの破損につながる可能性があります。データ処理ワークフローの一部として、いつでも 1 つの Hudi テーブルに対して動作する Hudi ライターが 1 つだけであることを確認してください。Hudi は、同じ Hudi テーブルに対して動作する複数の同時リーダーをサポートしています。
+ 複数のプライマリノードと Kerberos 認証を使用するクラスターの既知の問題

  Amazon EMR リリース 5.20.0 以降で複数のプライマリノードと Kerberos 認証を使用してクラスターを実行すると、クラスターをしばらく実行した後で、スケールダウンやステップの送信などのクラスターオペレーションに問題が発生する可能性があります。期間は、定義した Kerberos チケットの有効期間によって異なります。スケールダウンの問題は、自動スケールダウンリクエストと送信した明示的なスケールダウンリクエストの両方に影響します。その他のクラスターオペレーションも影響を受ける可能性があります。

  回避方法:
  + 複数のプライマリノードを持つ EMR クラスターのリードプライマリノードに `hadoop` ユーザーとして SSH 接続します。
  +  次のコマンドを実行して `hadoop` ユーザーの Kerberos チケットを更新します。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常、キータブファイルは `/etc/hadoop.keytab` にあります。プリンシパルの形式は `hadoop/<hostname>@<REALM>` です。
**注記**  
この回避策は、Kerberos チケットが有効になっている期間、効果があります。この期間はデフォルトで 10 時間ですが、Kerberos の設定で構成できます。Kerberos チケットの有効期限が切れたら、上記のコマンドを再実行する必要があります。
+ Amazon EMR 6.1.0 には、Presto を実行しているクラスターに影響する問題があります。長時間 (日単位) 後に、クラスターが「su: failed to execute /bin/bash: Resource temporarily unavailable」(su: /bin/bash の実行に失敗しました:リソースを一時的に利用できません) または「shell request failed on channel 0」(チャネル 0 でシェルリクエストが失敗しました) などのエラーをスローする可能性があります。この問題は、多すぎるライトウェイトプロセス (LWP) を生成する内部 Amazon EMR プロセス (InstanceController) が原因で発生し、最終的に Hadoop ユーザーが nproc の制限を超えることになります。これにより、ユーザーは追加のプロセスを開くことができなくなります。この問題の解決策は、EMR 6.2.0 にアップグレードすることです。

## 6.1.0 コンポーネントバージョン
<a name="emr-610-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.3.0 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.14.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.1.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-s3-dist-cp | 2.14.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 2.0.0 | EMR S3Select コネクター | 
| emrfs | 2.42.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.11.0 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-1 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-1 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-1 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-1 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-1 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-1 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-1 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-1 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-1 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-1 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.2.5 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.2.5 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.2.5 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.2.5 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.2.5 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hcatalog-client | 3.1.2-amzn-2 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.2-amzn-2 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-2 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.2-amzn-2 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.2-amzn-2 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.2-amzn-2 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.2-amzn-2 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.5.2-incubating-amzn-2 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.5.2-incubating-amzn-2 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-prestosql | 0.5.2-incubating-amzn-2 | PrestoSQL を Hudi で実行するためのバンドルライブラリ。 | 
| hudi-spark | 0.5.2-incubating-amzn-2 | Spark を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.7.1 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| jupyterhub | 1.1.0 | Jupyter Notebook のマルチユーザーサーバー | 
| livy-server | 0.7.0-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.6.0 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.64\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 9.2.88 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.2.0 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.2.0 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 4.3.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.0.0-HBase-2.0 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-query-server | 5.0.0-HBase-2.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.232 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.232 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.232 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| prestosql-coordinator | 338 | prestosql-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| prestosql-worker | 338 | いくつかのクエリを実行するサービス。 | 
| prestosql-client | 338 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| pig-client | 0.17.0 | Pig コマンドラインクライアント。 | 
| r | 3.4.3 | 統計的コンピューティング用 R プロジェクト | 
| ranger-kms-server | 2.0.0 | Apache Ranger Key Management System | 
| spark-client | 3.0.0-amzn-0 | Spark コマンドラインクライアント。 | 
| spark-history-server | 3.0.0-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 3.0.0-amzn-0 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 3.0.0-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | 
| tensorflow | 2.1.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.9.0-preview1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.4.14 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.4.14 | ZooKeeper コマンドラインクライアント。 | 

## 6.1.0 設定分類
<a name="emr-610-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。


**emr-6.1.0 の分類**  

| 分類 | 説明 | 
| --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | 
| emrfs-site | EMRFS の設定を変更します。 | 
| flink-conf | flink-conf.yaml の設定を変更します。 | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | 
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties の設定を変更します。 | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | 
| hbase-env | HBase の環境の値を変更します。 | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | 
| hdfs-env | HDFS 環境の値を変更します。 | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | 
| hcatalog-env | HCatalog 環境の値を変更します。 | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | 
| hive-env | Hive 環境の値を変更します。 | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | 
| hue-ini | Hue の ini ファイルの値を変更します | 
| httpfs-env | HTTPFS 環境の値を変更します。 | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | 
| hudi-env | Hudi 環境の値を変更します。 | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | 
| livy-env | Livy 環境の値を変更します。 | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | 
| oozie-env | Oozie の環境の値を変更します。 | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | 
| pig-env | Pig 環境の値を変更します。 | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | 
| prestosql-log | Presto の log.properties ファイルの値を変更します。 | 
| prestosql-config | Presto の config.properties ファイルの値を変更します。 | 
| prestosql-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | 
| prestosql-env | Presto の presto-env.sh ファイルの値を変更します。 | 
| prestosql-node | PrestoSQL の node.properties ファイルの値を変更します。 | 
| prestosql-connector-blackhole | PrestoSQL の blackhole.properties ファイルの値を変更します。 | 
| prestosql-connector-cassandra | PrestoSQL の cassandra.properties ファイルの値を変更します。 | 
| prestosql-connector-hive | PrestoSQL の hive.properties ファイルの値を変更します。 | 
| prestosql-connector-jmx | PrestoSQL の jmx.properties ファイルの値を変更します。 | 
| prestosql-connector-kafka | PrestoSQL の kafka.properties ファイルの値を変更します。 | 
| prestosql-connector-localfile | PrestoSQL の localfile.properties ファイルの値を変更します。 | 
| prestosql-connector-memory | PrestoSQL の memory.properties ファイルの値を変更します。 | 
| prestosql-connector-mongodb | PrestoSQL の mongodb.properties ファイルの値を変更します。 | 
| prestosql-connector-mysql | PrestoSQL の musql.properties ファイルの値を変更します。 | 
| prestosql-connector-postgresql | PrestoSQL の postgresql.properties ファイルの値を変更します。 | 
| prestosql-connector-raptor | PrestoSQL の raptor.properties ファイルの値を変更します。 | 
| prestosql-connector-redis | PrestoSQL の redis.properties ファイルの値を変更します。 | 
| prestosql-connector-redshift | PrestoSQL の redshift.properties ファイルの値を変更します。 | 
| prestosql-connector-tpch | PrestoSQL の tpcj.properties ファイルの値を変更します。 | 
| prestosql-connector-tpcds | PrestoSQL の tpcds.properties ファイルの値を変更します。 | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | 
| spark-env | Spark 環境の値を変更します。 | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | 
| sqoop-env | Sqoop の環境の値を変更します。 | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | 
| yarn-env | YARN 環境の値を変更します。 | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | 

# Amazon EMR リリース 6.0.1
<a name="emr-601-release"></a>

## 6.0.1 アプリケーションバージョン
<a name="emr-601-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 
| Pig | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.0.1 リリースノート
<a name="emr-601-relnotes"></a>

これは、Amazon EMR Scaling がクラスターを正常にスケールアップ/スケールダウンできない場合や、アプリケーション障害を引き起こした場合の問題点を修正するためのリリースです。

**変更、拡張、解決した問題**
+ Amazon EMR のクラスター上のデーモンが YARN ノード状態や HDFS ノード状態の収集などのヘルスチェックアクティビティを実行しているときに、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しました。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部の Amazon EMR コンポーネントに伝達できなかったために発生していました。
+ EMR のクラスター上のデーモンが改善され、IP アドレスが再利用されるときにノードの状態を正しく追跡できるようになり、スケーリング操作中の信頼性が向上しました。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。クラスターがスケールアップまたはスケールダウンを試みたときに YARN 廃止の競合状態が原因でジョブ障害が発生する問題を修正しました。
+ Amazon EMR のクラスター上のデーモンと YARN/HDFS の間でノードの状態が常に一致するようにすることで、クラスターのスケーリング中のステップまたはジョブの障害に関する問題を修正しました。
+ Kerberos 認証で有効になっている Amazon EMR クラスターで、スケールダウンやステップ送信などのクラスター操作が失敗する問題を修正しました。これは、Amazon EMR のクラスター上のデーモンが、プライマリノードで実行されている HDFS/YARN と安全に通信するために必要な Kerberos チケットを更新しなかったためです。
+ Amazon EMR の新しいリリースでは、Amazon EMR の古い AL2 で「最大オープンファイル」の上限が低い問題が修正されています。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれるようになりました。
+ Amazon Linux リポジトリでは、現在、HTTPS がデフォルトで有効になります。Amazon S3 VPCE ポリシーを使用して特定のバケットへのアクセスを制限する場合は、新しい Amazon Linux バケット ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` をポリシーに追加する (`$region` を、エンドポイントがあるリージョンに置き換える) 必要があります。詳細については、 AWS ディスカッションフォーラムのこのトピックを参照してください。[Announcement: Amazon Linux 2 now supports the ability to use HTTPS while connecting to package repositories ](https://forums.aws.amazon.com/ann.jspa?annID=8528) 

## 6.0.1 コンポーネントバージョン
<a name="emr-601-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.6 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.14.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.0.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-s3-dist-cp | 2.14.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 1.5.0 | EMR S3Select コネクター | 
| emrfs | 2.39.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-0.1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-0.1 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-0.1 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-0.1 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-0.1 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-0.1 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-0.1 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-0.1 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-0.1 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-0.1 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-0.1 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.2.3 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.2.3 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.2.3 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.2.3 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.2.3 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hcatalog-client | 3.1.2-amzn-0 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.2-amzn-0 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-0 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.2-amzn-0 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.2-amzn-0 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.2-amzn-0 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.2-amzn-0 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.5.0-incubating-amzn-1 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.5.0-incubating-amzn-1 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.4.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| jupyterhub | 1.0.0 | Jupyter ノートブックのマルチユーザーサーバー | 
| livy-server | 0.6.0-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.5.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.64\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 9.2.88 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.1.0 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.1.0 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 3.4.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.0.0-HBase-2.0 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-query-server | 5.0.0-HBase-2.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.230 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.230 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.230 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| r | 3.4.3 | 統計的コンピューティング用 R プロジェクト | 
| spark-client | 2.4.4 | Spark コマンドラインクライアント。 | 
| spark-history-server | 2.4.4 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 2.4.4 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 2.4.4 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| tensorflow | 1.14.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.9.0-SNAPSHOT | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.4.14 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.4.14 | ZooKeeper コマンドラインクライアント。 | 

## 6.0.1 設定分類
<a name="emr-601-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。


**emr-6.0.1 の分類**  

| 分類 | 説明 | 
| --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | 
| emrfs-site | EMRFS の設定を変更します。 | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | 
| hbase-env | HBase の環境の値を変更します。 | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | 
| hdfs-env | HDFS 環境の値を変更します。 | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | 
| hcatalog-env | HCatalog 環境の値を変更します。 | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | 
| hive-env | Hive 環境の値を変更します。 | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | 
| hue-ini | Hue の ini ファイルの値を変更します | 
| httpfs-env | HTTPFS 環境の値を変更します。 | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | 
| livy-env | Livy 環境の値を変更します。 | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | 
| oozie-env | Oozie の環境の値を変更します。 | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | 
| recordserver-env | EMR RecordServer 環境の値を変更します。 | 
| recordserver-conf | EMR RecordServer の erver.properties ファイルの値を変更します。 | 
| recordserver-log4j | EMR RecordServer の log4j.properties ファイルの値を変更します。 | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | 
| spark-env | Spark 環境の値を変更します。 | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | 
| yarn-env | YARN 環境の値を変更します。 | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | 

# Amazon EMR リリース 6.0.0
<a name="emr-600-release"></a>

## 6.0.0 アプリケーションバージョン
<a name="emr-600-app-versions"></a>

このリリースには次のアプリケーションが含まれます: [http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 5.0.0-HBase-2.0 | 
| Pig | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.0.0 リリースノート
<a name="emr-600-relnotes"></a>

次のリリースノートには、Amazon EMR リリース 6.0.0 に関する情報が含まれています。

初回リリース日: 2020 年 3 月 10 日

**サポートされているアプリケーション**
+ AWS SDK for Java バージョン 1.11.711
+ Ganglia バージョン 3.7.2
+ Hadoop バージョン 3.2.1
+ HBase バージョン 2.2.3
+ HCatalog バージョン 3.1.2
+ Hive バージョン 3.1.2
+ Hudi バージョン 0.5.0-incubating
+ Hue バージョン 4.4.0
+ JupyterHub バージョン 1.0.0
+ Livy バージョン 0.6.0
+ MXNet バージョン 1.5.1
+ Oozie バージョン 5.1.0
+ Phoenix バージョン 5.0.0
+ Presto バージョン 0.230
+ Spark バージョン 2.4.4
+ TensorFlow バージョン 1.14.0
+ Zeppelin バージョン 0.9.0-SNAPSHOT
+ Zookeeper バージョン 3.4.14
+ コネクタおよびドライバー: DynamoDB Connector 4.14.0

**注記**  
Flink、Sqoop、Pig、および Mahout は、Amazon EMR バージョン 6.0.0 では使用できません。

**新機能**
+ YARN Docker ランタイムのサポート - Spark ジョブなどの YARN アプリケーションは、Docker コンテナのコンテキストで実行できるようになりました。これにより、Amazon EMR クラスターにカスタムライブラリをインストールすることなく、Docker イメージの依存関係を簡単に定義できます。詳細については、「[Docker 統合の設定](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-docker.html)」および「[Amazon EMR 6.0.0 を使用して Docker で Spark アプリケーションを実行する](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-docker.html)」を参照してください。
+ Hive LLAP のサポート - クエリのパフォーマンス向上のため、Hive が LLAP 実行モードをサポートしました。詳細については、「[Hive LLAP の使用](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-llap.html)」を参照してください。

**変更点、機能強化、解決した問題**
+ これは、Amazon EMR Scaling がクラスターを正常にスケールアップ/スケールダウンできない場合や、アプリケーション障害を引き起こした場合の問題点を修正するためのリリースです。
+ Amazon EMR のクラスター上のデーモンが YARN ノード状態や HDFS ノード状態の収集などのヘルスチェックアクティビティを実行しているときに、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しました。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部の Amazon EMR コンポーネントに伝達できなかったために発生していました。
+ EMR のクラスター上のデーモンが改善され、IP アドレスが再利用されるときにノードの状態を正しく追跡できるようになり、スケーリング操作中の信頼性が向上しました。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。クラスターがスケールアップまたはスケールダウンを試みたときに YARN 廃止の競合状態が原因でジョブ障害が発生する問題を修正しました。
+ Amazon EMR のクラスター上のデーモンと YARN/HDFS の間でノードの状態が常に一致するようにすることで、クラスターのスケーリング中のステップまたはジョブの障害に関する問題を修正しました。
+ Kerberos 認証で有効になっている Amazon EMR クラスターで、スケールダウンやステップ送信などのクラスター操作が失敗する問題を修正しました。これは、Amazon EMR のクラスター上のデーモンが、プライマリノードで実行されている HDFS/YARN と安全に通信するために必要な Kerberos チケットを更新しなかったためです。
+ Amazon EMR の新しいリリースでは、Amazon EMR の古い AL2 で「最大オープンファイル」の上限が低い問題が修正されています。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれるようになりました。
+ Amazon Linux
  + Amazon Linux 2 は EMR 6.x リリースシリーズのオペレーティングシステムです。
  + `systemd` は、Amazon Linux 1 で使用される `upstart` ではなく、サービス管理に使用されます。
+ Java Development Kit (JDK)
  + Corretto JDK 8 は、EMR 6.x リリースシリーズのデフォルトの JDK です。
+ Scala
  + Scala 2.12 は、Apache Spark および Apache Livy で使用されます。
+ Python 3
  + Python 3 が EMR の Python のデフォルトバージョンになりました。
+ YARN ノードラベル
  + Amazon EMR 6.x リリースシリーズ以降では、YARN ノードラベル機能はデフォルトで無効になっています。アプリケーションマスタープロセスは、デフォルトでコアノードとタスクノードの両方で実行できます。次のプロパティを設定することで、YARN ノードラベル機能を有効にできます: `yarn.node-labels.enabled` および `yarn.node-labels.am.default-node-label-expression`。詳細については、「[Understanding Primary, Core, and Task Nodes](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-master-core-task-nodes.html)」を参照してください。

**既知の問題**
+ **古い AL2 で「最大オープンファイル」の上限が低い [新しいリリースで修正済み]。**Amazon EMR リリース emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0、および emr-6.2.0 は、古いバージョンの Amazon Linux 2 (AL2) に基づいており、デフォルトの AMI を使用して Amazon EMR クラスターを作成する場合に「最大オープンファイル」の ulimit 設定が低くなります。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれています。オープンファイルの上限が低いリリースでは、Spark ジョブを送信するときに「Too many open files」というエラーが発生します。影響を受けるリリースでは、Amazon EMR のデフォルト AMI の「最大オープンファイル」はデフォルトの ulimit 設定 4096 になっており、最新の Amazon Linux 2 AMI の上限 65536 ファイルよりも低くなっています。「最大オープンファイル」の ulimit 設定が低い場合、Spark ドライバーとエグゼキュータが 4096 を超えるファイルを開こうとすると、Spark ジョブが失敗します。この問題を解決するために、Amazon EMR には、クラスターの作成時に ulimit 設定を調整するブートストラップアクション (BA) スクリプトが用意されています。

  この問題の永続的な修正がない古い Amazon EMR バージョンを使用している場合は、以下の回避策を使用すると、instance-controller ulimit を最大の 65536 ファイルに明示的に設定できます。

**コマンドラインから ulimit を明示的に設定する**

  1. `/etc/systemd/system/instance-controller.service` を編集して、Service セクションに次のパラメータを追加します。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. InstanceController を再起動します。

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **ブートストラップアクション (BA) を使用して ulimit を設定する**

  ブートストラップアクション (BA) スクリプトを使用して、クラスター作成時にインスタンスコントローラーの ulimit を 65536 ファイルに設定することもできます。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ PySpark、SparkR、spark-shell を含む Spark インタラクティブシェルは、追加のライブラリでの Docker の使用をサポートしていません。
+ Amazon EMR バージョン 6.0.0 で Python 3 を使用するには、`PATH` を `yarn.nodemanager.env-whitelist` に追加する必要があります。
+  AWS Glue データカタログを Hive のメタストアとして使用する場合、Live Long and Process (LLAP) 機能はサポートされていません。
+ Spark と Docker の統合で Amazon EMR 6.0.0 を使用する場合、Docker ランタイムで Spark ジョブを送信する際の失敗を回避するために、同じインスタンスタイプおよび同量の EBS ボリュームでクラスター内のインスタンスを設定する必要があります。
+ Amazon EMR 6.0.0 では、HBase on Amazon S3 ストレージモードは [HBASE-24286](https://issues.apache.org/jira/browse/HBASE-24286) の問題の影響を受けます。既存の S3 データを使用してクラスターを作成する場合、HBase マスターは初期化できません。
+ 複数のプライマリノードと Kerberos 認証を使用するクラスターの既知の問題

  Amazon EMR リリース 5.20.0 以降で複数のプライマリノードと Kerberos 認証を使用してクラスターを実行すると、クラスターをしばらく実行した後で、スケールダウンやステップの送信などのクラスターオペレーションに問題が発生する可能性があります。期間は、定義した Kerberos チケットの有効期間によって異なります。スケールダウンの問題は、自動スケールダウンリクエストと送信した明示的なスケールダウンリクエストの両方に影響します。その他のクラスターオペレーションも影響を受ける可能性があります。

  回避方法:
  + 複数のプライマリノードを持つ EMR クラスターのリードプライマリノードに `hadoop` ユーザーとして SSH 接続します。
  +  次のコマンドを実行して `hadoop` ユーザーの Kerberos チケットを更新します。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常、キータブファイルは `/etc/hadoop.keytab` にあります。プリンシパルの形式は `hadoop/<hostname>@<REALM>` です。
**注記**  
この回避策は、Kerberos チケットが有効になっている期間、効果があります。この期間はデフォルトで 10 時間ですが、Kerberos の設定で構成できます。Kerberos チケットの有効期限が切れたら、上記のコマンドを再実行する必要があります。

## 6.0.0 コンポーネントバージョン
<a name="emr-600-components"></a>

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.6 | Amazon SageMaker Spark SDK | 
| emr-ddb | 4.14.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 3.0.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | 
| emr-s3-dist-cp | 2.14.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emr-s3-select | 1.5.0 | EMR S3Select コネクター | 
| emrfs | 2.39.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 3.2.1-amzn-0 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-0 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 3.2.1-amzn-0 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 3.2.1-amzn-0 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-0 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | 
| hadoop-httpfs-server | 3.2.1-amzn-0 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 3.2.1-amzn-0 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 3.2.1-amzn-0 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-0 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-0 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-0 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 2.2.3 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 2.2.3 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 2.2.3 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 2.2.3 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 2.2.3 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hcatalog-client | 3.1.2-amzn-0 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 3.1.2-amzn-0 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-0 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 3.1.2-amzn-0 | Hive コマンドラインクライアント。 | 
| hive-hbase | 3.1.2-amzn-0 | Hive-hbase クライアント。 | 
| hive-metastore-server | 3.1.2-amzn-0 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 3.1.2-amzn-0 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hudi | 0.5.0-incubating-amzn-1 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | 
| hudi-presto | 0.5.0-incubating-amzn-1 | Presto を Hudi で実行するためのバンドルライブラリ。 | 
| hue-server | 4.4.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| jupyterhub | 1.0.0 | Jupyter ノートブックのマルチユーザーサーバー | 
| livy-server | 0.6.0-incubating | Apache Spark を操作するための REST インターフェイス | 
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | 
| mxnet | 1.5.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | 
| mariadb-server | 5.5.64\$1 | MariaDB データベースサーバー。 | 
| nvidia-cuda | 9.2.88 | Nvidia ドライバーと Cuda ツールキット | 
| oozie-client | 5.1.0 | Oozie コマンドラインクライアント。 | 
| oozie-server | 5.1.0 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| opencv | 3.4.0 | オープンソースのコンピュータビジョンライブラリ。 | 
| phoenix-library | 5.0.0-HBase-2.0 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-query-server | 5.0.0-HBase-2.0 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.230 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.230 | いくつかのクエリを実行するサービス。 | 
| presto-client | 0.230 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | 
| r | 3.4.3 | 統計的コンピューティング用 R プロジェクト | 
| spark-client | 2.4.4 | Spark コマンドラインクライアント。 | 
| spark-history-server | 2.4.4 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 2.4.4 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 2.4.4 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| tensorflow | 1.14.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | 
| tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.41\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.9.0-SNAPSHOT | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.4.14 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.4.14 | ZooKeeper コマンドラインクライアント。 | 

## 6.0.0 設定分類
<a name="emr-600-class"></a>

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。


**emr-6.0.0 の分類**  

| 分類 | 説明 | 
| --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | 
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | 
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | 
| emrfs-site | EMRFS の設定を変更します。 | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | 
| hbase-env | HBase の環境の値を変更します。 | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | 
| hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | 
| hdfs-env | HDFS 環境の値を変更します。 | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | 
| hcatalog-env | HCatalog 環境の値を変更します。 | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | 
| hive | Apache Hive 用の Amazon EMR-curated 設定。 | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | 
| hive-env | Hive 環境の値を変更します。 | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | 
| hue-ini | Hue の ini ファイルの値を変更します | 
| httpfs-env | HTTPFS 環境の値を変更します。 | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | 
| jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | 
| jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | 
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | 
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | 
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | 
| livy-env | Livy 環境の値を変更します。 | 
| livy-log4j | Livy の log4j.properties の設定を変更します。 | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | 
| oozie-env | Oozie の環境の値を変更します。 | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | 
| presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | 
| presto-env | Presto の presto-env.sh ファイルの値を変更します。 | 
| presto-node | Presto の node.properties ファイルの値を変更します。 | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | 
| presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | 
| presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | 
| presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | 
| ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | 
| ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | 
| ranger-kms-env | Ranger KMS 環境の値を変更します。 | 
| ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | 
| ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | 
| recordserver-env | EMR RecordServer 環境の値を変更します。 | 
| recordserver-conf | EMR RecordServer の erver.properties ファイルの値を変更します。 | 
| recordserver-log4j | EMR RecordServer の log4j.properties ファイルの値を変更します。 | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | 
| spark-env | Spark 環境の値を変更します。 | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | 
| yarn-env | YARN 環境の値を変更します。 | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 |