Integrar com as Tabelas do Amazon S3
A integração do Catálogo de Dados do AWS Glue com as Tabelas do Amazon S3 permite descobrir, consultar e juntar tabelas do S3 com dados nos data lakes do Amazon S3 usando um único catálogo. Quando você integra as Tabelas do S3 ao Catálogo de Dados, o serviço cria uma estrutura de catálogo federado que mapeia os recursos das Tabelas do S3 em objetos do catálogo do AWS Glue:
Um bucket de tabela do S3 se torna um catálogo no Catálogo de Dados
Um namespace do S3 se torna um banco de dados do AWS Glue
Uma tabela do S3 se torna uma tabela do AWS Glue
Controles de acesso
O Catálogo de Dados oferece suporte a dois modos de controle de acesso para integração com as Tabelas do S3:
-
Controle de acesso do IAM: usa políticas do IAM para controlar o acesso às Tabelas do S3 e ao Catálogo de Dados. Nessa abordagem, você precisa de permissões do IAM nos recursos das Tabelas do S3 e nos objetos do Catálogo de Dados para acessar os recursos.
-
Controle de acesso do AWS Lake Formation: usa concessões do AWS Lake Formation, além de permissões do IAM do AWS Glue, para controlar o acesso às Tabelas do S3 por meio do Catálogo de Dados. Nesse modo, as entidades principais exigem permissões do IAM para interagir com o Catálogo de Dados, e as concessões do AWS Lake Formation determinam quais recursos do catálogo (bancos de dados, tabelas, colunas, linhas) a entidade principal pode acessar. Esse modo oferece suporte a controle de acesso de baixa granularidade (concessões em nível de banco de dados e em nível de tabela) e controle de acesso refinado (segurança em nível de coluna e nível de linha). Quando um perfil registrado é configurado e a venda de credenciais está habilitada, as permissões do IAM das Tabelas do S3 não são necessárias para a entidade principal, pois o AWS Lake Formation vende credenciais em nome da entidade principal usando o perfil registrado. O controle de acesso do AWS Lake Formation também oferece suporte à venda de credenciais para mecanismos de análise de terceiros. Para obter mais informações, consulte Criar um catálogo de Tabelas do S3 no Guia do desenvolvedor do AWS Lake Formation.
É possível migrar entre os modos de controle de acesso à medida que seus requisitos evoluem.
Hierarquia de catálogos para montagem automática
Quando você integra as Tabelas do S3 com o Catálogo de Dados usando o console de gerenciamento do Amazon S3, o console cria um catálogo federado chamado s3tablescatalog no Catálogo de Dados da sua conta nessa região da AWS. Esse catálogo federado atua como catálogo principal para todos os buckets de tabelas do S3 existentes e futuros nessa conta e região. A integração mapeia recursos de bucket da tabela do Amazon S3 na seguinte hierarquia:
-
Catálogo federado:
s3tablescatalog(criado automaticamente) -
Catálogos secundários: cada bucket de tabela do S3 se torna um catálogo secundário em
s3tablescatalog -
Bancos de dados: cada namespace do S3 em um bucket de tabela se torna um banco de dados
-
Tabelas: cada tabela do S3 em um namespace se torna uma tabela
Por exemplo, se você tiver um bucket de tabela do S3 chamado "analytics-bucket" com um namespace "sales" contendo uma tabela "transactions", o caminho completo no catálogo de dados seria: s3tablescatalog/analytics-bucket/sales/transactions
Essa hierarquia de quatro partes se aplica aos cenários da mesma conta em que as Tabelas do S3 e o catálogo de dados estão na mesma conta da AWS. Para cenários com várias contas, você monta manualmente buckets de tabelas do S3 individuais no Catálogo de Dados, o que cria uma hierarquia de três partes.
Regiões com suporte
A integração das Tabelas do S3 com o Catálogo de Dados está disponível nas seguintes regiões da AWS:
| Código da região | Nome da região |
|---|---|
| us-east-1 | Leste dos EUA (Norte da Virgínia) |
| us-east-2 | Leste dos EUA (Ohio) |
| us-west-1 | Oeste dos EUA (N. da Califórnia) |
| us-west-2 | Oeste dos EUA (Oregon) |
| af-south-1 | África (Cidade do Cabo) |
| ap-east-1 | Ásia-Pacífico (Hong Kong) |
| ap-east-2 | Ásia-Pacífico (Taipei) |
| ap-northeast-1 | Ásia-Pacífico (Tóquio) |
| ap-northeast-2 | Ásia-Pacífico (Seul) |
| ap-northeast-3 | Ásia-Pacífico (Osaka) |
| ap-south-1 | Ásia-Pacífico (Mumbai) |
| ap-south-2 | Ásia-Pacífico (Hyderabad) |
| ap-southeast-1 | Ásia-Pacífico (Singapura) |
| ap-southeast-2 | Ásia-Pacífico (Sydney) |
| ap-southeast-3 | Ásia-Pacífico (Jacarta) |
| ap-southeast-4 | Ásia-Pacífico (Melbourne) |
| ap-southeast-5 | Ásia-Pacífico (Malásia) |
| ap-southeast-6 | Ásia-Pacífico (Nova Zelândia) |
| ap-southeast-7 | Ásia-Pacífico (Tailândia) |
| ca-central-1 | Canadá (Central) |
| ca-west-1 | Oeste do Canadá (Calgary) |
| eu-central-1 | Europa (Frankfurt) |
| eu-central-2 | Europa (Zurique) |
| eu-north-1 | Europa (Estocolmo) |
| eu-south-1 | Europa (Milão) |
| eu-south-2 | Europa (Espanha) |
| eu-west-1 | Europa (Irlanda) |
| eu-west-2 | Europa (Londres) |
| eu-west-3 | Europa (Paris) |
| il-central-1 | Israel (Tel Aviv) |
| mx-central-1 | México (Centro) |
| sa-east-1 | América do Sul (São Paulo) |
Tópicos
