与 Amazon S3 表类数据存储服务集成
利用 AWS Glue Data Catalog 与 Amazon S3 表类数据存储服务的集成,您可以使用单个目录发现、查询 Amazon S3 数据湖中的数据以及将 S3 表类数据存储服务与这些数据联接。当您将 S3 表类数据存储服务与 Data Catalog 集成时,该服务会创建一个联合目录结构来将 S3 表类数据存储服务资源映射到 AWS Glue 目录对象:
S3 表类数据存储服务存储桶成为 Data Catalog 中的目录
S3 命名空间变为 AWS Glue 数据库
S3 表变为 AWS Glue 表
访问控制
Data Catalog 对 S3 表类数据存储服务集成支持两种访问控制模式:
-
IAM 访问控制:使用 IAM 策略控制对 S3 表类数据存储服务和 Data Catalog 的访问。在这种方法中,您需要对 S3 表类数据存储服务资源和 Data Catalog 对象拥有 IAM 权限才能访问资源。
-
AWS Lake Formation 访问控制:除了 AWS Glue IAM 权限外,还使用 AWS Lake Formation 授权通过 Data Catalog 控制对 S3 表类数据存储服务的访问。在此模式下,主体需要 IAM 权限才能与 Data Catalog 交互,AWS Lake Formation 授权确定主体可以访问哪些目录资源(数据库、表、列、行)。此模式支持粗粒度访问控制(数据库级和表级授权)和精细访问控制(列级和行级安全)。配置了注册角色并启用凭证售卖后,主体不需要 S3 表类数据存储服务 IAM 权限,因为 AWS Lake Formation 使用注册角色代表主体售卖凭证。AWS Lake Formation 访问控制还支持第三方分析引擎的凭证售卖。有关更多信息,请参阅《AWS Lake Formation 开发人员指南》中的 Creating an S3 Tables catalog。
您可以根据要求变化在不同的访问控制模式之间进行迁移。
自动挂载的目录层次结构
当您使用 Amazon S3 管理控制台将 S3 表类数据存储服务与 Data Catalog 集成时,控制台会在该 AWS 区域您的账户中的 Data Catalog 中创建名为 s3tablescatalog 的联合目录。此联合目录充当该账户和区域中所有现有和未来 S3 表存储桶的父目录。该集成按以下层次结构映射 Amazon S3 表存储桶资源:
-
联合目录:
s3tablescatalog(自动创建) -
子目录:每个 S3 表存储桶变为
s3tablescatalog下的子目录 -
数据库:表存储桶中的每个 S3 命名空间变为数据库
-
表:命名空间中的每个 S3 表变为一个表
例如,如果您有名为“analytics-bucket”的 S3 表存储桶,其命名空间为“sales”,其中包含表“transactions”,则 Data Catalog 中的完整路径将是:s3tablescatalog/analytics-bucket/sales/transactions
此由四部分组成的分层结构适用于 S3 表类数据存储服务和 Data Catalog 位于同一 AWS 账户中的同一账户方案。对于跨账户方案,您可以在 Data Catalog 中手动挂载单个 S3 表存储桶,这将创建一个由三部分组成的层次结构。
支持的区域:
以下 AWS 区域提供 S3 表类数据存储服务与 Data Catalog 的集成:
| 区域代码 | 区域名称 |
|---|---|
| us-east-1 | 美国东部(弗吉尼亚州北部) |
| us-east-2 | 美国东部(俄亥俄州) |
| us-west-1 | 美国西部(北加利福尼亚) |
| us-west-2 | 美国西部(俄勒冈州) |
| af-south-1 | 非洲(开普敦) |
| ap-east-1 | 亚太地区(香港) |
| ap-east-2 | 亚太地区(台北) |
| ap-northeast-1 | 亚太地区(东京) |
| ap-northeast-2 | 亚太地区(首尔) |
| ap-northeast-3 | 亚太地区(大阪) |
| ap-south-1 | 亚太地区(孟买) |
| ap-south-2 | 亚太地区(海得拉巴) |
| ap-southeast-1 | 亚太地区(新加坡) |
| ap-southeast-2 | 亚太地区(悉尼) |
| ap-southeast-3 | 亚太地区(雅加达) |
| ap-southeast-4 | 亚太地区(墨尔本) |
| ap-southeast-5 | 亚太地区(马来西亚) |
| ap-southeast-6 | 亚太地区(新西兰) |
| ap-southeast-7 | 亚太地区(泰国) |
| ca-central-1 | 加拿大(中部) |
| ca-west-1 | 加拿大西部(卡尔加里) |
| eu-central-1 | 欧洲地区(法兰克福) |
| eu-central-2 | 欧洲(苏黎世) |
| eu-north-1 | 欧洲地区(斯德哥尔摩) |
| eu-south-1 | 欧洲地区(米兰) |
| eu-south-2 | 欧洲(西班牙) |
| eu-west-1 | 欧洲地区(爱尔兰) |
| eu-west-2 | 欧洲地区(伦敦) |
| eu-west-3 | 欧洲地区(巴黎) |
| il-central-1 | 以色列(特拉维夫) |
| mx-central-1 | 墨西哥(中部) |
| sa-east-1 | 南美洲(圣保罗) |