翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# Amazon EMR リリース 4.3.0
## 4.3.0 アプリケーションバージョン
このリリースには次のアプリケーションが含まれます: [http://ganglia.info](http://ganglia.info)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)。
以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。
Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)
**アプリケーションバージョン情報**
| | emr-4.3.0 | emr-4.2.0 | emr-4.1.0 | emr-4.0.0 |
| --- | --- | --- | --- | --- |
| AWS SDK for Java | 1.10.27 | 1.10.27 | 追跡されていません | 追跡されていません |
| Python | 追跡されていません | 追跡されていません | 追跡されていません | 追跡されていません |
| Scala | 追跡されていません | 追跡されていません | 追跡されていません | 追跡されていません |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | - | - | - | - |
| Ganglia | 3.7.2 | 3.6.0 | - | - |
| HBase | - | - | - | - |
| HCatalog | - | - | - | - |
| Hadoop | 2.7.1-amzn-0 | 2.6.0-amzn-2 | 2.6.0-amzn-1 | 2.6.0-amzn-0 |
| Hive | 1.0.0-amzn-2 | 1.0.0-amzn-1 | 1.0.0-amzn-1 | 1.0.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.7.1-amzn-5 | 3.7.1-amzn-5 | 3.7.1-amzn-4 | - |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.11.0 | 0.11.0 | 0.11.0 | 0.10.0 |
| Oozie | - | - | - | - |
| Oozie-Sandbox | 4.2.0 | 4.2.0 | 4.0.1 | - |
| Phoenix | - | - | - | - |
| Pig | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 0.14.0-amzn-0 |
| Presto | - | - | - | - |
| Presto-Sandbox | 0.130 | 0.125 | 0.119 | - |
| Spark | 1.6.0 | 1.5.2 | 1.5.0 | 1.4.1 |
| Sqoop | - | - | - | - |
| Sqoop-Sandbox | - | - | - | - |
| TensorFlow | - | - | - | - |
| Tez | - | - | - | - |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | - | - | - | - |
| Zeppelin-Sandbox | 0.5.5-incubating-amzn-1 | 0.5.5-incubating-amzn-0 | 0.6.0-incubating-SNAPSHOT | - |
| ZooKeeper | - | - | - | - |
| ZooKeeper-Sandbox | - | - | - | - |
## 4.3.0 リリースノート
次のリリースノートには、Amazon EMR 4.3.0 リリースに関する情報が含まれています。
リリース日: 2016 年 1 月 19 日
**機能**
+ Hadoop 2.7.1 にアップグレードしました
+ Spark 1.6.0 にアップグレードしました
+ Ganglia を 3.7.2 にアップグレードしました
+ Presto を 0.130 にアップグレードしました
+ Amazon EMR を true に設定すると、`spark.dynamicAllocation.enabled` にいくつかの変更が加えられていました。デフォルトでは false です。true に設定すると、`maximizeResourceAllocation` 設定で定義されているデフォルト設定に影響を与えます。
+ `spark.dynamicAllocation.enabled` を true に設定した場合、`spark.executor.instances` は `maximizeResourceAllocation` によって設定されません。
+ `spark.driver.memory` 設定は、`spark.executors.memory` 設定と同様に、クラスター内のインスタンスタイプに基づいて定義されます。ただし、Spark ドライバーアプリケーションは、マスターインスタンスまたはいずれかのコアインスタンスで（たとえば、YARN クライアントモードとクラスターモードのそれぞれで）実行されるため、`spark.driver.memory` 設定は、これらの 2 つのインスタンスグループ間で、小さい方のインスタンスのインスタンスタイプに基づいて定義されます。
+ `spark.default.parallelism` 設定は、YARN コンテナに使用可能な CPU コアの数の 2 倍に定義されます。以前のリリースでは、半分の値に定義されていました。
+ Spark YARN プロセス用に予約されるメモリオーバーヘッドの計算精度が上がったため、Spark に使用可能なメモリの合計量 (`spark.executor.memory`) がわずかに増えました。
**以前のリリースから解決された既知の問題**
+ 現在、YARN ログの集計はデフォルトで有効になります。
+ YARN ログの集計が有効な場合に、クラスターの Amazon S3 ログバケットにログがプッシュされない問題を修正しました。
+ YARN コンテナサイズは、すべてのノードタイプで新たに最低 32 になりました。
+ 大規模なクラスターのプライマリノードで過剰なディスク I/O を発生させる Ganglia の問題を修正しました。
+ クラスターのシャットダウン時に Amazon S3 にアプリケーションログがプッシュされない問題を修正しました。
+ 特定のコマンドを失敗させる EMRFS CLI の問題を修正しました。
+ 基盤となる SparkContext に依存関係がロードされなくなる Zeppelin の問題を修正しました。
+ インスタンスの追加を試みるサイズ変更の発行によって発生する問題を修正しました。
+ CREATE TABLE AS SELECT が Amazon S3 への過剰なリスト呼び出しを行う Hive の問題を修正しました。
+ Hue、Oozie、および Ganglia がインストールされていると、大規模なクラスターが適切にプロビジョニングされない問題を修正しました。
+ エラーで失敗した場合でもゼロ終了コードを返す s3-dist-cp の問題を修正しました。
## 4.3.0 コンポーネントバージョン
このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。
Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。
| コンポーネント | バージョン | 説明 |
| --- | --- | --- |
| emr-ddb | 3.0.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 |
| emr-goodies | 2.0.0 | Hadoop エコシステムに役立つ追加のライブラリ。 |
| emr-kinesis | 3.1.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 |
| emr-s3-dist-cp | 2.1.0 | Amazon S3 に最適化された分散コピーアプリケーション。 |
| emrfs | 2.3.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 |
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 |
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 |
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 |
| hadoop-client | 2.7.1-amzn-0 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 |
| hadoop-hdfs-datanode | 2.7.1-amzn-0 | ブロックを保存する HDFS ノードレベルのサービス。 |
| hadoop-hdfs-library | 2.7.1-amzn-0 | HDFS コマンドラインクライアントとライブラリ |
| hadoop-hdfs-namenode | 2.7.1-amzn-0 | ファイル名を追跡し、場所をブロックする HDFS サービス。 |
| hadoop-httpfs-server | 2.7.1-amzn-0 | HDFS オペレーションの HTTP エンドポイント。 |
| hadoop-kms-server | 2.7.1-amzn-0 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 |
| hadoop-mapred | 2.7.1-amzn-0 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 |
| hadoop-yarn-nodemanager | 2.7.1-amzn-0 | 個別のノードでコンテナを管理する YARN サービス。 |
| hadoop-yarn-resourcemanager | 2.7.1-amzn-0 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 |
| hive-client | 1.0.0-amzn-2 | Hive コマンドラインクライアント。 |
| hive-metastore-server | 1.0.0-amzn-2 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 |
| hive-server | 1.0.0-amzn-2 | Hive クエリをウェブリクエストとして受け入れるサービス。 |
| hue-server | 3.7.1-amzn-5 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション |
| mahout-client | 0.11.0 | 機械学習用のライブラリ。 |
| mysql-server | 5.5 | MySQL データベースサーバー。 |
| oozie-client | 4.2.0 | Oozie コマンドラインクライアント。 |
| oozie-server | 4.2.0 | Oozie ワークフローリクエストを受け入れるサービス。 |
| presto-coordinator | 0.130 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 |
| presto-worker | 0.130 | いくつかのクエリを実行するサービス。 |
| pig-client | 0.14.0-amzn-0 | Pig コマンドラインクライアント。 |
| spark-client | 1.6.0 | Spark コマンドラインクライアント。 |
| spark-history-server | 1.6.0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 |
| spark-on-yarn | 1.6.0 | YARN のメモリ内実行エンジン。 |
| spark-yarn-slave | 1.6.0 | YARN スレーブで必要な Apache Spark ライブラリ。 |
| webserver | 2.4 | Apache HTTP サーバー。 |
| zeppelin-server | 0.5.5-incubating-amzn-1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 |
## 4.3.0 設定分類
設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。
**emr-4.3.0 分類**
| 分類 | 説明 |
| --- | --- |
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 |
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 |
| emrfs-site | EMRFS の設定を変更します。 |
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 |
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 |
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 |
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 |
| hive-env | Hive 環境の値を変更します。 |
| hive-exec-log4j | Hive の hive-exec-log4j.properties ファイルの値を変更します。 |
| hive-log4j | Hive の hive-log4j.properties ファイルの値を変更します。 |
| hive-site | Hive の hive-site.xml ファイルの値を変更します |
| hue-ini | Hue の ini ファイルの値を変更します |
| httpfs-env | HTTPFS 環境の値を変更します。 |
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 |
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 |
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 |
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 |
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 |
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 |
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 |
| oozie-env | Oozie の環境の値を変更します。 |
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 |
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 |
| pig-properties | Pig の pig.properties ファイルの値を変更します。 |
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 |
| presto-log | Presto の log.properties ファイルの値を変更します。 |
| presto-config | Presto の config.properties ファイルの値を変更します。 |
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 |
| spark | Apache Spark 用の Amazon EMR-curated 設定。 |
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 |
| spark-env | Spark 環境の値を変更します。 |
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 |
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 |
| yarn-env | YARN 環境の値を変更します。 |
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 |
| zeppelin-env | Zeppelin 環境の値を変更します。 |