View a markdown version of this page

Amazon EMR on EKS 7.6.0 版本 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon EMR on EKS 7.6.0 版本

本頁面描述了針對 Amazon EMR on EKS 部署的 Amazon EMR 新功能和更新功能。如需在 Amazon EC2 上執行的 Amazon EMR 和一般 Amazon EMR 7.6.0 版本的詳細資訊,請參閱《Amazon EMR 版本指南》中的 Amazon EMR 7.6.0

Amazon EMR on EKS 7.6 版

下列 Amazon EMR 7.6.0 版本適用於 Amazon EMR on EKS。選取特定的 emr-7.6.0-XXXX 版本,以檢視更多詳細資訊,例如相關的容器映像標籤。

Flink releases

當您執行 Flink 應用程式時,Amazon EMR on EKS 可使用下列 Amazon EMR 7.6.0 版本。

Spark releases

當您執行 Spark 應用程式時,Amazon EMR on EKS 可使用下列 Amazon EMR 7.6.0 版本。

  • emr-7.6.0-latest

  • emr-7.6.0-20241213

  • emr-7.6.0-spark-rapids-latest

  • emr-7.6.0-spark-rapids-20241213

  • emr-7.6.0-java11-latest

  • emr-7.6.0-java11-20241213

  • emr-7.6.0-java8-latest

  • emr-7.6.0-java8-20241213

  • emr-7.6.0-spark-rapids-java8-latest

  • emr-7.6.0-spark-rapids-java8-20241213

  • notebook-spark/emr-7.6.0-latest

  • notebook-spark/emr-7.6.0-20241213

  • notebook-spark/emr-7.6.0-spark-rapids-latest

  • notebook-spark/emr-7.6.0-spark-rapids-20241213

  • notebook-spark/emr-7.6.0-java11-latest

  • notebook-spark/emr-7.6.0-java11-20241213

  • notebook-spark/emr-7.6.0-java8-latest

  • notebook-spark/emr-7.6.0-java8-20241213

  • notebook-spark/emr-7.6.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.6.0-spark-rapids-java8-20241213

  • notebook-python/emr-7.6.0-latest

  • notebook-python/emr-7.6.0-20241213

  • notebook-python/emr-7.6.0-spark-rapids-latest

  • notebook-python/emr-7.6.0-spark-rapids-20241213

  • notebook-python/emr-7.6.0-java11-latest

  • notebook-python/emr-7.6.0-java11-20241213

  • notebook-python/emr-7.6.0-java8-latest

  • notebook-python/emr-7.6.0-java8-20241213

  • notebook-python/emr-7.6.0-spark-rapids-java8-latest

  • notebook-python/emr-7.6.0-spark-rapids-java8-20241213

  • livy/emr-7.6.0-latest

  • livy/emr-7.6.0-20241213

  • livy/emr-7.6.0-java11-latest

  • livy/emr-7.6.0-java11-20241213

  • livy/emr-7.6.0-java8-latest

  • livy/emr-7.6.0-java8-20241213

版本備註

Amazon EMR on EKS 7.6.0 的版本備註

  • 支援的應用程式:適用於 Java 的 AWS SDK 2.29.25 and 1.12.779, Apache Spark 3.5.3-amzn-0, Apache Hudi 0.15.0-amzn-3, Apache Iceberg 1.6.1-amzn-2, Delta 3.2.1-amzn-1, Apache Spark RAPIDS 24.10.1-amzn-0, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.20.0-amzn-0, Flink Operator 1.10.0-amzn-0

  • 支援的元件aws-sagemaker-spark-sdkemr-ddbemr-goodiesemr-s3-selectemrfshadoop-clienthudihudi-sparkicebergspark-kubernetes

  • 支援的組態分類

    若要與 StartJobRunCreateManagedEndpoint API 搭配使用:

    分類 描述

    core-site

    變更 core-site.xml Hadoop 檔案中的值。

    emrfs-site

    變更 EMRFS 設定。

    spark-metrics

    變更 metrics.properties Spark 檔案中的值。

    spark-defaults

    變更 spark-defaults.conf Spark 檔案中的值。

    spark-env

    變更 Spark 環境中的值。

    spark-hive-site

    變更 hive-site.xml Spark 檔案中的值。

    spark-log4j2

    變更 log4j2.properties Spark 檔案中的值。

    emr-job-submitter

    作業提交者 Pod 的組態。

    專門搭配 CreateManagedEndpoint API 使用:

    分類 描述

    jeg-config

    變更 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 檔案中的值。

    jupyter-kernel-overrides

    在 Jupyter 核心規格檔案中變更核心映像的值。

    組態分類可讓您自訂應用程式。這些檔案通常對應於應用程式的組態 XML 檔案,例如 spark-hive-site.xml。如需詳細資訊,請參閱設定應用程式

值得注意的功能

Amazon EMR on EKS 7.6.0 版包含下列功能:

  • 監控 Apache Spark Operator 的組態支援 – 監控組態可讓您輕鬆地將 Spark 應用程式和運算子日誌的日誌封存設定到 Amazon S3 或 Amazon CloudWatch。您可以選擇其中一個或兩者。這樣做會將日誌代理程式附屬項目新增至 Spark 運算子 Pod、驅動程式和執行器 Pod,然後將這些元件的日誌轉送到您設定的接收器。如需詳細資訊,請參閱使用監控組態來監控 Spark Kubernetes 運算子和 Spark 任務

變更

Amazon EMR on EKS 7.6.0 版包含下列變更:

  • 版本沒有變更。