本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon EMR on EKS 7.12.0 版
本頁面描述了針對 Amazon EMR on EKS 部署的 Amazon EMR 新功能和更新功能。如需在 Amazon EC2 上執行的 Amazon EMR 和一般 Amazon EMR 7.12.0 版本的詳細資訊,請參閱《Amazon EMR 版本指南》中的 Amazon EMR 7.12.0。
Amazon EMR on EKS 7.12 版
下列 Amazon EMR 7.12.0 版本適用於 Amazon EMR on EKS。選取特定的 emr-7.12.0-XXXX 版本,以檢視更多詳細資訊,例如相關的容器映像標籤。
版本備註
Amazon EMR on EKS 7.12.0 的版本備註:
-
支援的應用程式:適用於 Java 的 AWS SDK 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-1, Apache Hudi 1.0.2-amzn-1, Apache Iceberg 1.10.0-amzn-0, Delta 3.3.2-amzn-1, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-6
-
支援的元件 -
emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudihudi-spark、iceberg、、spark-kubernetes。 -
支援的組態分類
若要與 StartJobRun 和 CreateManagedEndpoint API 搭配使用:
分類 描述 core-site變更
core-site.xmlHadoop 檔案中的值。emrfs-site變更 EMRFS 設定。
spark-metrics變更
metrics.propertiesSpark 檔案中的值。spark-defaults變更
spark-defaults.confSpark 檔案中的值。spark-env變更 Spark 環境中的值。
spark-hive-site變更
hive-site.xmlSpark 檔案中的值。spark-log4j2變更
log4j2.propertiesSpark 檔案中的值。emr-job-submitter作業提交者 Pod 的組態。
專門搭配 CreateManagedEndpoint API 使用:
分類 描述 jeg-config變更 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py檔案中的值。jupyter-kernel-overrides在 Jupyter 核心規格檔案中變更核心映像的值。
組態分類可讓您自訂應用程式。這些檔案通常對應於應用程式的組態 XML 檔案,例如
spark-hive-site.xml。如需詳細資訊,請參閱設定應用程式。
變更和功能
Amazon EMR on EKS 7.12.0 版包含下列功能:
-
Iceberg 具體化視觀表 – 從 EMR 7.12.0 開始,EMR Spark 支援建立和管理 Iceberg 具體化視觀表 (MV)。
-
Hudi 完整資料表存取 – 從 EMR 7.12.0 開始,EMR 現在會根據 Lake Formation 中定義的政策,支援 Apache Spark 中 Apache Hudi 的完整資料表存取 (FTA) 控制。當任務角色具有完整資料表存取權時,此功能可在 Lake Formation 註冊的資料表上啟用來自 Amazon EMR Spark 任務的讀取和寫入操作。
-
Iceberg 版本升級 – EMR 7.12.0 支援 Apache Iceberg 1.10 版。
-
記錄 Livy 互動式工作負載 – 從 EMR 7.12.0 開始,EMR 支援關鍵系統元件的廣泛記錄,以改善 Livy Spark 任務故障的疑難排解。此功能可讓 EMR 服務存取其他 Livy 和 SecretAgent 日誌,以簡化故障診斷。