View a markdown version of this page

Amazon S3 Tables 與 AWS Glue Data Catalog 和 整合 AWS Lake Formation - AWS Lake Formation
Data Catalog 和 Lake Formation 整合的運作方式

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon S3 Tables 與 AWS Glue Data Catalog 和 整合 AWS Lake Formation

Amazon S3 Tables 提供專門針對分析工作負載最佳化的 S3 儲存體，可改善查詢效能，同時降低成本。S3 Tables 中的資料會存放在新的儲存貯體類型中：資料表儲存貯體，其會將資料表儲存為子資源。S3 資料表內建支援 Apache Iceberg 標準，可讓您使用常見的查詢引擎，例如 Apache Spark，輕鬆查詢 Amazon S3 資料表儲存貯體中的表格式資料。

您可以使用 IAM AWS Glue Data Catalog 存取控制或 IAM 和 Lake Formation 授予，將 Amazon S3 Tables 與 整合：

  • IAM 存取控制：使用 IAM 政策來控制對 S3 Tables 和 Data Catalog 的存取。在此存取控制方法中，您需要 S3 Tables 資源和 Data Catalog 物件的 IAM 許可，才能存取資源。

  • Lake Formation 存取控制：除了 IAM AWS Glue 許可之外，還使用 AWS Lake Formation 授予來控制透過 Data Catalog 對 S3 Tables 的存取。在此模式中，主體需要 IAM 許可才能與 Data Catalog 互動，Lake Formation 授予會決定主體可存取的目錄資源 （資料庫、資料表、資料欄、資料列）。此模式同時支援粗粒存取控制 （資料庫層級和資料表層級授予） 和精細存取控制 （資料欄層級和資料列層級安全性）。設定已註冊角色並啟用憑證販賣時，委託人不需要 S3 Tables IAM 許可，因為 Lake Formation 會使用已註冊角色代表委託人提供憑證。Lake Formation 存取控制也支援第三方分析引擎的憑證販賣。

本節提供針對 AWS Lake Formation 下列案例設定與 整合的指引：

請務必遵循將 S3 資料表與 AWS 分析服務整合中的步驟，以便您擁有適當的許可來存取 AWS Glue Data Catalog 和資料表資源，以及使用 AWS 分析服務。

主題

Data Catalog 和 Lake Formation 整合的運作方式

當您將 S3 資料表目錄與 Data Catalog 和 Lake Formation 整合時， AWS Glue 服務會在您帳戶的預設 Data Catalog s3tablescatalog中建立名為 的單一聯合目錄 AWS 區域。整合會以下列方式映射您帳戶和聯合目錄 AWS 區域 下的所有 Amazon S3 資料表儲存貯體資源：

  • Amazon S3 資料表儲存貯體會成為 Data Catalog 中的多層級目錄。

  • 相關聯的 Amazon S3 命名空間會在 Data Catalog 中註冊為資料庫。

  • 資料表儲存貯體中的 Amazon S3 資料表會成為資料目錄中的資料表。

S3 Tables 和 之間的物件映射 AWS Glue Data Catalog。

與 Lake Formation 整合後，您可以在資料表儲存貯體目錄中建立 Apache Iceberg 資料表，並透過整合的 AWS 分析引擎存取它們 Amazon Athena，例如 Amazon EMR 和第三方分析引擎。

當您也啟用 Lake Formation 與整合時，它會透過 啟用精細存取控制 AWS Lake Formation。此安全方法表示，除了 (IAM) 許可之外 AWS Identity and Access Management ，您還必須在資料表上授予具有 Lake Formation 許可的 IAM 主體，才能使用這些許可。

AWS Lake Formation中有兩種主要類型的權限：

  • 中繼資料存取權限可控制在 Data Catalog 中建立、讀取、更新和刪除中繼資料資料庫和資料表的能力。

  • 基礎資料存取權限可控制讀取和寫入資料目錄資源指向的基礎 Amazon S3 位置的能力。

Lake Formation 使用自己的許可模型和 IAM 許可模型的組合，控制對 Data Catalog 資源和基礎資料的存取：

  • 若要請求成功存取 Data Catalog 資源或基礎資料，則請求必須通過 IAM 和 Lake Formation 的許可權檢查。

  • IAM 許可控制對 Lake Formation 和 AWS Glue APIs存取，而 Lake Formation 許可控制對 Data Catalog 資源、Amazon S3 位置和基礎資料的存取。

Lake Formation 許可權僅適用於授予其獲授權的區域，且主體必須由資料湖管理員或其他具有必要權限的主體的授權，才能授予 Lake Formation 許可。