View a markdown version of this page

與 Amazon S3 資料表整合 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

與 Amazon S3 資料表整合

AWS Glue Data Catalog 與 Amazon S3 Tables 整合,可讓您使用單一目錄探索、查詢 S3 Tables,並將 S3 Tables 與 Amazon S3 資料湖中的資料聯結。當您將 S3 Tables 與 Data Catalog 整合時,服務會建立聯合目錄結構,將 S3 Tables 資源映射至 AWS Glue 目錄物件:

  • S3 資料表儲存貯體會成為 Data Catalog 中的目錄

  • S3 命名空間會成為 AWS Glue 資料庫

  • S3 資料表會變成 AWS Glue 資料表

存取控制

Data Catalog 支援兩種 S3 Tables 整合的存取控制模式:

  • IAM 存取控制 – 使用 IAM 政策來控制對 S3 Tables 和 Data Catalog 的存取。在此方法中,您需要 S3 Tables 資源和 Data Catalog 物件的 IAM 許可,才能存取資源。

  • AWS Lake Formation 存取控制 – 除了 IAM AWS Glue 許可之外,還使用 AWS Lake Formation 授予來控制透過 Data Catalog 對 S3 Tables 的存取。在此模式中,主體需要 IAM 許可才能與 Data Catalog 互動,並且 AWS Lake Formation 授予 會決定主體可存取的目錄資源 (資料庫、資料表、資料欄、資料列)。此模式同時支援粗粒存取控制 (資料庫層級和資料表層級授予) 和精細存取控制 (資料欄層級和資料列層級安全性)。設定已註冊角色並啟用憑證販賣時,委託人不需要 S3 Tables IAM 許可,因為 會使用已註冊角色代表委託人 AWS Lake Formation 提供憑證。 AWS Lake Formation 存取控制也支援第三方分析引擎的憑證販賣。如需詳細資訊,請參閱《 AWS Lake Formation 開發人員指南》中的建立 S3 資料表目錄

您可以隨著需求發展,在存取控制模式之間遷移。

自動掛載的目錄階層

當您使用 Amazon S3 管理主控台將 S3 Tables 與 Data Catalog 整合時,主控台會在您帳戶中的 Data Catalog s3tablescatalog中建立名為 的聯合目錄 AWS 。 Amazon S3 此聯合目錄可做為該帳戶和區域中所有現有和未來 S3 資料表儲存貯體的父目錄。整合會映射下列階層中的 Amazon S3 資料表儲存貯體資源:

  • 聯合目錄s3tablescatalog(自動建立)

  • 子目錄 – 每個 S3 資料表儲存貯體都會在 下成為子目錄 s3tablescatalog

  • 資料庫 – 資料表儲存貯體中的每個 S3 命名空間都會成為資料庫

  • 資料表 – 命名空間中的每個 S3 資料表都會成為資料表

例如,如果您有一個名為 "analytics-bucket" 的 S3 資料表儲存貯體,其命名空間為 "sales",其中包含資料表 "transactions",則資料目錄中的完整路徑為: s3tablescatalog/analytics-bucket/sales/transactions

此四部分階層適用於 S3 Tables 和 Data Catalog 位於相同帳戶中的相同 AWS 帳戶案例。對於跨帳戶案例,您可以在 Data Catalog 中手動掛載個別 S3 資料表儲存貯體,這會建立三部分階層。

支援的區域

S3 Tables 與 Data Catalog 的整合可在下列 AWS 區域使用:

區域代碼 區域名稱
us-east-1美國東部 (維吉尼亞北部)
us-east-2美國東部 (俄亥俄)
us-west-1美國西部 (加利佛尼亞北部)
us-west-2美國西部 (奧勒岡)
af-south-1非洲 (開普敦)
ap-east-1亞太地區 (香港)
ap-east-2亞太區域 (台北)
ap-northeast-1亞太地區 (東京)
ap-northeast-2亞太地區 (首爾)
ap-northeast-3亞太地區 (大阪)
ap-south-1亞太地區 (孟買)
ap-south-2亞太地區 (海德拉巴)
ap-southeast-1亞太地區 (新加坡)
ap-southeast-2亞太地區 (悉尼)
ap-southeast-3亞太地區 (雅加達)
ap-southeast-4亞太地區 (墨爾本)
ap-southeast-5亞太地區 (馬來西亞)
ap-southeast-6亞太區域 (紐西蘭)
ap-southeast-7亞太區域 (泰國)
ca-central-1加拿大 (中部)
ca-west-1加拿大西部 (卡加利)
eu-central-1歐洲 (法蘭克福)
eu-central-2歐洲 (蘇黎世)
eu-north-1歐洲 (斯德哥爾摩)
eu-south-1歐洲 (米蘭)
eu-south-2歐洲 (西班牙)
eu-west-1歐洲 (愛爾蘭)
eu-west-2歐洲 (倫敦)
eu-west-3Europe (Paris)
il-central-1以色列 (特拉維夫)
mx-central-1墨西哥 (中部)
sa-east-1南美洲 (聖保羅)