翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 # Amazon EMR リリース 5.31.0 ## 5.31.0 アプリケーションバージョン このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。 以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。 Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。 + [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md) + [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md) + [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md) + [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md) **アプリケーションバージョン情報** | | emr-5.31.0 | emr-5.30.2 | emr-5.30.1 | emr-5.30.0 | | --- | --- | --- | --- | --- | | AWS SDK for Java | 1.11.852 | 1.11.759 | 1.11.759 | 1.11.759 | | Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | | Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | | AmazonCloudWatchAgent | - | - | - | - | | Delta | - | - | - | - | | Flink | 1.11.0 | 1.10.0 | 1.10.0 | 1.10.0 | | Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | | HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | | HCatalog | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | | Hadoop | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 | 2.8.5-amzn-6 | | Hive | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | | Hudi | 0.6.0-amzn-0 | 0.5.2-incubating | 0.5.2-incubating | 0.5.2-incubating | | Hue | 4.7.1 | 4.6.0 | 4.6.0 | 4.6.0 | | Iceberg | - | - | - | - | | JupyterEnterpriseGateway | - | - | - | - | | JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | | Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | | MXNet | 1.6.0 | 1.5.1 | 1.5.1 | 1.5.1 | | Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | | Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | | Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | | Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | | Presto | 0.238.3-amzn-0 | 0.232 | 0.232 | 0.232 | | Spark | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 | 2.4.5-amzn-0 | | Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | | TensorFlow | 2.1.0 | 1.14.0 | 1.14.0 | 1.14.0 | | Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | | Trino (PrestoSQL) | - | - | - | - | | Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | | ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | ## 5.31.0 リリースノート 次のリリースノートには、Amazon EMR リリース 5.31.0 に関する情報が含まれています。5.30.1 からの変更が含まれています。 初回リリース日: 2020 年 10 月 9 日 最終更新日: 2020 年 10 月 15 日 **アップグレード** + Amazon Glue コネクタをバージョン 1.13.0 にアップグレードしました + Amazon SageMaker Spark SDK をバージョン 1.4.0 にアップグレードしました + Amazon Kinesis コネクタをバージョン 3.5.9 にアップグレードしました + バージョン 1.11.852 AWS SDK for Java にアップグレード + Bigtop-tomcat をバージョン 8.5.56 にアップグレードしました + EMRFS をバージョン 2.43.0 にアップグレードしました + EMR MetricsAndEventsApiGateway Client をバージョン 1.4.0 にアップグレードしました + EMR S3 Dist CP をバージョン 2.15.0 にアップグレードしました + EMR S3 Select をバージョン 1.6.0 にアップグレードしました + Flink をバージョン 1.11.0 にアップグレードしました + Hadoop をバージョン 2.10.0 にアップグレードしました + Hive をバージョン 2.3.7 にアップグレードしました + Hudi をバージョン 0.6.0 にアップグレードしました + Hue をバージョン 4.7.1 にアップグレードしました + JupyterHub をバージョン 1.1.0 にアップグレードしました + MXNet をバージョン 1.6.0 にアップグレードしました + OpenCV をバージョン 4.3.0 にアップグレードしました + Presto をバージョン 0.238.3 にアップグレードしました + TensorFlow をバージョン 2.1.0 にアップグレードしました **変更点、機能強化、解決した問題** + これは、Amazon EMR Scaling がクラスターを正常にスケールアップ/スケールダウンできない場合や、アプリケーション障害を引き起こした場合の問題点を修正するためのリリースです。 + Amazon EMR のクラスター上のデーモンが YARN ノード状態や HDFS ノード状態の収集などのヘルスチェックアクティビティを実行しているときに、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しました。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部の Amazon EMR コンポーネントに伝達できなかったために発生していました。 + EMR のクラスター上のデーモンが改善され、IP アドレスが再利用されるときにノードの状態を正しく追跡できるようになり、スケーリング操作中の信頼性が向上しました。 + [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。 + [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。クラスターがスケールアップまたはスケールダウンを試みたときに YARN 廃止の競合状態が原因でジョブ障害が発生する問題を修正しました。 + Amazon EMR のクラスター上のデーモンと YARN/HDFS の間でノードの状態が常に一致するようにすることで、クラスターのスケーリング中のステップまたはジョブの障害に関する問題を修正しました。 + Kerberos 認証で有効になっている Amazon EMR クラスターで、スケールダウンやステップ送信などのクラスター操作が失敗する問題を修正しました。これは、Amazon EMR のクラスター上のデーモンが、プライマリノードで実行されている HDFS/YARN と安全に通信するために必要な Kerberos チケットを更新しなかったためです。 + Amazon EMR の新しいリリースでは、Amazon EMR の古い AL2 で「最大オープンファイル」の上限が低い問題が修正されています。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれるようになりました。 + [Hive の列統計](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-ColumnStatistics)は、Amazon EMR バージョン 5.31.0 以降でサポートされています。 + コンポーネントのバージョンをアップグレードしました。 + Amazon EMR 5.31.0 での EMRFS S3EC V2 のサポート。S3 Java SDK リリース 1.11.837 以降では、暗号化クライアントバージョン 2 (S3EC V2) がさまざまなセキュリティ機能強化とともに導入されました。詳細については次を参照してください: + S3 ブログ投稿: [Updates to the Amazon S3 encryption client](https://aws.amazon.com/blogs/developer/updates-to-the-amazon-s3-encryption-client/)。 + AWS SDK for Java デベロッパーガイド: [暗号化クライアントと復号クライアントを V2 に移行します](https://docs.aws.amazon.com/sdk-for-java/v1/developer-guide/s3-encryption-migration.html#s3-cse-update-code)。 + EMR 管理ガイド: [Amazon S3 クライアント側暗号化](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-emrfs-encryption-cse.html)。 下位互換性を保つため、暗号化クライアント V1 は SDK で引き続き使用できます。 **新機能** + **古い AL2 で「最大オープンファイル」の上限が低い [新しいリリースで修正済み]。**Amazon EMR リリース emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0、および emr-6.2.0 は、古いバージョンの Amazon Linux 2 (AL2) に基づいており、デフォルトの AMI を使用して Amazon EMR クラスターを作成する場合に「最大オープンファイル」の ulimit 設定が低くなります。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれています。オープンファイルの上限が低いリリースでは、Spark ジョブを送信するときに「Too many open files」というエラーが発生します。影響を受けるリリースでは、Amazon EMR のデフォルト AMI の「最大オープンファイル」はデフォルトの ulimit 設定 4096 になっており、最新の Amazon Linux 2 AMI の上限 65536 ファイルよりも低くなっています。「最大オープンファイル」の ulimit 設定が低い場合、Spark ドライバーとエグゼキュータが 4096 を超えるファイルを開こうとすると、Spark ジョブが失敗します。この問題を解決するために、Amazon EMR には、クラスターの作成時に ulimit 設定を調整するブートストラップアクション (BA) スクリプトが用意されています。 この問題の永続的な修正がない古い Amazon EMR バージョンを使用している場合は、以下の回避策を使用すると、instance-controller ulimit を最大の 65536 ファイルに明示的に設定できます。 **コマンドラインから ulimit を明示的に設定する** 1. `/etc/systemd/system/instance-controller.service` を編集して、Service セクションに次のパラメータを追加します。 `LimitNOFILE=65536` `LimitNPROC=65536` 1. InstanceController を再起動します。 `$ sudo systemctl daemon-reload` `$ sudo systemctl restart instance-controller` **ブートストラップアクション (BA) を使用して ulimit を設定する** ブートストラップアクション (BA) スクリプトを使用して、クラスター作成時にインスタンスコントローラーの ulimit を 65536 ファイルに設定することもできます。 ``` #!/bin/bash for user in hadoop spark hive; do sudo tee /etc/security/limits.d/$user.conf << EOF $user - nofile 65536 $user - nproc 65536 EOF done for proc in instancecontroller logpusher; do sudo mkdir -p /etc/systemd/system/$proc.service.d/ sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF [Service] LimitNOFILE=65536 LimitNPROC=65536 EOF pid=$(pgrep -f aws157.$proc.Main) sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535 done sudo systemctl daemon-reload ``` + Amazon EMR 5.31.0 を使用すると、Lake Formation と統合されるクラスターを起動できます。この統合により、 AWS Glue データカタログのデータベースとテーブルにきめ細かな列レベルのデータフィルタリングが提供されます。また、これにより、企業の ID システムから EMR Notebooks または Apache Zeppelin へのフェデレーションシングルサインオンが可能になります。詳細については、「*Amazon EMR 管理ガイド*」の「[Amazon EMR と AWS Lake Formationの統合](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lake-formation.html)」を参照してください。 Amazon EMR with Lake Formation は現在、米国東部 (オハイオ州とバージニア北部）、米国西部 (北カリフォルニアとオレゴン）、アジアパシフィック (ムンバイ、ソウル、シンガポール、シドニー、東京）、カナダ (中部）、欧州 (フランクフルト、アイルランド、ロンドン、パリ、ストックホルム）、南米 (サンパウロ) の 16 AWS リージョンで利用できます。 **既知の問題** + 複数のプライマリノードと Kerberos 認証を使用するクラスターの既知の問題 Amazon EMR リリース 5.20.0 以降で複数のプライマリノードと Kerberos 認証を使用してクラスターを実行すると、クラスターをしばらく実行した後で、スケールダウンやステップの送信などのクラスターオペレーションに問題が発生する可能性があります。期間は、定義した Kerberos チケットの有効期間によって異なります。スケールダウンの問題は、自動スケールダウンリクエストと送信した明示的なスケールダウンリクエストの両方に影響します。その他のクラスターオペレーションも影響を受ける可能性があります。 回避方法: + 複数のプライマリノードを持つ EMR クラスターのリードプライマリノードに `hadoop` ユーザーとして SSH 接続します。 + 次のコマンドを実行して `hadoop` ユーザーの Kerberos チケットを更新します。 ``` kinit -kt ``` 通常、キータブファイルは `/etc/hadoop.keytab` にあります。プリンシパルの形式は `hadoop/@` です。 **注記** この回避策は、Kerberos チケットが有効になっている期間、効果があります。この期間はデフォルトで 10 時間ですが、Kerberos の設定で構成できます。Kerberos チケットの有効期限が切れたら、上記のコマンドを再実行する必要があります。 + Amazon EMR 5.31.0 または 5.32.0 を使用するクラスターで AtRestEncryption または HDFS 暗号化が有効になっている場合、Hive クエリで次のランタイム例外が発生します。 ``` TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found ``` + Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。 + 同じテーブルから 2 つ以上のパーティションがスキャンされます。 + 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、`s3://bucket/table/p=a` は `s3://bucket/table/p=a b` のプレフィックスです。 + 他のパーティションディレクトリのプレフィックスに続く最初の文字が、`/` 文字 (U\$1002F) より小さい UTF-8 値を持ちます。例えば、`s3://bucket/table/p=a b` の a と b の間にあるスペース文字 (U\$10020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: `!"#$%&‘()*+,-`。詳細については、「[UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)」を参照してください。 この問題の回避策として、`spark-defaults` 分類の `spark.sql.sources.fastS3PartitionDiscovery.enabled` 設定を `false` にセットします。 ## 5.31.0 コンポーネントバージョン このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。 Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。 | コンポーネント | バージョン | 説明 | | --- | --- | --- | | aws-sagemaker-spark-sdk | 1.4.0 | Amazon SageMaker Spark SDK | | emr-ddb | 4.15.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | | emr-goodies | 2.13.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | | emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 | | emr-s3-dist-cp | 2.15.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | | emr-s3-select | 1.6.0 | EMR S3Select コネクター | | emrfs | 2.43.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | | flink-client | 1.11.0 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | | flink-jobmanager-config | 1.11.0 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 | | ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | | ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | | ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | | hadoop-client | 2.10.0-amzn-0 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | | hadoop-hdfs-datanode | 2.10.0-amzn-0 | ブロックを保存する HDFS ノードレベルのサービス。 | | hadoop-hdfs-library | 2.10.0-amzn-0 | HDFS コマンドラインクライアントとライブラリ | | hadoop-hdfs-namenode | 2.10.0-amzn-0 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | | hadoop-hdfs-journalnode | 2.10.0-amzn-0 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 | | hadoop-httpfs-server | 2.10.0-amzn-0 | HDFS オペレーションの HTTP エンドポイント。 | | hadoop-kms-server | 2.10.0-amzn-0 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | | hadoop-mapred | 2.10.0-amzn-0 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | | hadoop-yarn-nodemanager | 2.10.0-amzn-0 | 個別のノードでコンテナを管理する YARN サービス。 | | hadoop-yarn-resourcemanager | 2.10.0-amzn-0 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | | hadoop-yarn-timeline-server | 2.10.0-amzn-0 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | | hbase-hmaster | 1.4.13 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | | hbase-region-server | 1.4.13 | 1 つ以上の HBase リージョンに対応するサービス。 | | hbase-client | 1.4.13 | HBase コマンドラインクライアント。 | | hbase-rest-server | 1.4.13 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | | hbase-thrift-server | 1.4.13 | HBase に Thrift エンドポイントを提供するサービス。 | | hcatalog-client | 2.3.7-amzn-1 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | | hcatalog-server | 2.3.7-amzn-1 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | | hcatalog-webhcat-server | 2.3.7-amzn-1 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | | hive-client | 2.3.7-amzn-1 | Hive コマンドラインクライアント。 | | hive-hbase | 2.3.7-amzn-1 | Hive-hbase クライアント。 | | hive-metastore-server | 2.3.7-amzn-1 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | | hive-server2 | 2.3.7-amzn-1 | Hive クエリをウェブリクエストとして受け入れるサービス。 | | hudi | 0.6.0-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 | | hudi-spark | 0.6.0-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 | | hudi-presto | 0.6.0-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 | | hue-server | 4.7.1 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | | jupyterhub | 1.1.0 | Jupyter Notebook のマルチユーザーサーバー | | livy-server | 0.7.0-incubating | Apache Spark を操作するための REST インターフェイス | | nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー | | mahout-client | 0.13.0 | 機械学習用のライブラリ。 | | mxnet | 1.6.0 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 | | mariadb-server | 5.5.64 | MySQL データベースサーバー。 | | nvidia-cuda | 9.2.88 | Nvidia ドライバーと Cuda ツールキット | | oozie-client | 5.2.0 | Oozie コマンドラインクライアント。 | | oozie-server | 5.2.0 | Oozie ワークフローリクエストを受け入れるサービス。 | | opencv | 4.3.0 | オープンソースのコンピュータビジョンライブラリ。 | | phoenix-library | 4.14.3-HBase-1.4 | サーバーとクライアントの Phoenix ライブラリ | | phoenix-query-server | 4.14.3-HBase-1.4 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー | | presto-coordinator | 0.238.3-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | | presto-worker | 0.238.3-amzn-0 | いくつかのクエリを実行するサービス。 | | presto-client | 0.238.3-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 | | pig-client | 0.17.0 | Pig コマンドラインクライアント。 | | r | 3.4.3 | 統計的コンピューティング用 R プロジェクト | | ranger-kms-server | 1.2.0 | Apache Ranger Key Management System | | spark-client | 2.4.6-amzn-0 | Spark コマンドラインクライアント。 | | spark-history-server | 2.4.6-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | | spark-on-yarn | 2.4.6-amzn-0 | YARN のメモリ内実行エンジン。 | | spark-yarn-slave | 2.4.6-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 | | sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 | | tensorflow | 2.1.0 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 | | tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 | | webserver | 2.4.25\$1 | Apache HTTP サーバー。 | | zeppelin-server | 0.8.2 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | | zookeeper-server | 3.4.14 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | | zookeeper-client | 3.4.14 | ZooKeeper コマンドラインクライアント。 | ## 5.31.0 設定分類 設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。 **emr-5.31.0 の分類** | 分類 | 説明 | | --- | --- | | capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | | container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | | core-site | Hadoop の core-site.xml ファイルの値を変更します。 | | emrfs-site | EMRFS の設定を変更します。 | | flink-conf | flink-conf.yaml の設定を変更します。 | | flink-log4j | Flink log4j.properties の設定を変更します。 | | flink-log4j-yarn-session | Flink log4j-yarn-session.properties の設定を変更します。 | | flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | | hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | | hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | | hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | | hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | | hbase | Apache HBase 用の Amazon EMR-curated 設定。 | | hbase-env | HBase の環境の値を変更します。 | | hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | | hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | | hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | | hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | | hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | | hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | | hcatalog-env | HCatalog 環境の値を変更します。 | | hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | | hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | | hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | | hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | | hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | | hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | | hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | | hive-env | Hive 環境の値を変更します。 | | hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | | hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | | hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | | hive-site | Hive の hive-site.xml ファイルの値を変更します | | hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | | hue-ini | Hue の ini ファイルの値を変更します | | httpfs-env | HTTPFS 環境の値を変更します。 | | httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | | hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | | hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | | hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | | hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | | hudi-env | Hudi 環境の値を変更します。 | | jupyter-notebook-conf | Jupyter Notebook の jupyter\$1notebook\$1config.py ファイルの値を変更します。 | | jupyter-hub-conf | JupyterHubs の jupyterhub\$1config.py ファイルの値を変更します。 | | jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | | jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | | livy-conf | Livy の livy.conf ファイルの値を変更します。 | | livy-env | Livy 環境の値を変更します。 | | livy-log4j | Livy の log4j.properties の設定を変更します。 | | mapred-env | MapReduce アプリケーションの環境の値を変更します。 | | mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | | oozie-env | Oozie の環境の値を変更します。 | | oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | | oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | | phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | | phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | | phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | | phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | | pig-env | Pig 環境の値を変更します。 | | pig-properties | Pig の pig.properties ファイルの値を変更します。 | | pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | | presto-log | Presto の log.properties ファイルの値を変更します。 | | presto-config | Presto の config.properties ファイルの値を変更します。 | | presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | | presto-env | Presto の presto-env.sh ファイルの値を変更します。 | | presto-node | Presto の node.properties ファイルの値を変更します。 | | presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | | presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | | presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | | presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | | presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | | presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | | presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | | presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | | presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | | presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | | presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | | presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | | presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | | presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | | presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | | ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | | ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | | ranger-kms-env | Ranger KMS 環境の値を変更します。 | | ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | | ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | | recordserver-env | EMR RecordServer 環境の値を変更します。 | | recordserver-conf | EMR RecordServer の erver.properties ファイルの値を変更します。 | | recordserver-log4j | EMR RecordServer の log4j.properties ファイルの値を変更します。 | | spark | Apache Spark 用の Amazon EMR-curated 設定。 | | spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | | spark-env | Spark 環境の値を変更します。 | | spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | | spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | | spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | | sqoop-env | Sqoop の環境の値を変更します。 | | sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | | sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | | tez-site | Tez の tez-site.xml ファイルの値を変更します。 | | yarn-env | YARN 環境の値を変更します。 | | yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | | zeppelin-env | Zeppelin 環境の値を変更します。 | | zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | | zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 |