As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# O que AWS Lake Formationé
Bem-vindo ao Guia do AWS Lake Formation desenvolvedor.
AWS Lake Formation ajuda você a governar, proteger e compartilhar dados de forma centralizada e global para análise e aprendizado de máquina. Com o Lake Formation, você pode gerenciar um controle de acesso refinado para seus dados de data lake no Amazon Simple Storage Service (Amazon S3) e seus metadados no AWS Glue Data Catalog.
O Lake Formation fornece seu próprio modelo de permissões que amplia o modelo de permissões do IAM. O modelo de permissões do Lake Formation permite acesso refinado aos dados armazenados em data lakes, bem como fontes de dados externas, como data warehouses do Amazon Redshift, bancos de dados Amazon DynamoDB e fontes de dados de terceiros por meio de um mecanismo simples de concessão ou revogação, muito parecido com um sistema de gerenciamento de banco de dados relacional (RDBMS). As permissões do Lake Formation são aplicadas usando controles granulares nos níveis de coluna, linha e célula em todos os serviços de AWS análise e aprendizado de máquina, incluindo Amazon Athena, Amazon Amazon Quick Redshift Spectrum, Amazon EMR e. AWS Glue
Com o modo de acesso híbrido Lake Formation para AWS Glue Data Catalog (Catálogo de dados), você pode proteger e acessar os dados catalogados usando as permissões do Lake Formation e as políticas de permissões do IAM para Amazon S3 AWS Glue e ações. Com o modo de acesso híbrido, os administradores de dados podem integrar as permissões do Lake Formation de forma seletiva e incremental, concentrando-se em um caso de uso do data lake por vez.
O Lake Formation também permite que você compartilhe dados interna e externamente em várias AWS organizações ou diretamente com diretores do IAM em outra conta Contas da AWS, fornecendo acesso refinado aos metadados do Catálogo de Dados e aos dados subjacentes.
**Topics**
+ [Características do Lake Formation](#lake-formation-features)
+ [AWS Lake Formation: como funciona](how-it-works.md)
+ [Componentes do Lake Formation](how-it-works-components.md)
+ [Terminologia do Lake Formation](how-it-works-terminology.md)
+ [AWS integrações de serviços com Lake Formation](service-integrations.md)
+ [Recursos adicionais do Lake Formation](additional-resources.md)
+ [Introdução ao Lake Formation](#what-is-lake-formation-start)
## Características do Lake Formation
O Lake Formation o ajuda a desfazer silos de dados e combinar diferentes tipos de dados estruturados e não estruturados em um repositório centralizado. Primeiro, identifique os armazenamentos de dados existentes no Amazon S3 ou nos bancos de dados relacionais e NoSQL e mova os dados para o seu data lake. Em seguida, rastreie, catalogue e prepare os dados para análise. Em seguida, forneça aos usuários acesso seguro de autoatendimento aos dados por meio de serviços de análise de sua escolha.
É possível usar o console do Lake Formation para criar catálogos federados de vários níveis no Data Catalog e unificar dados entre data lakes do Amazon S3 e data warehouses do Amazon Redshift. Você também pode integrar dados de seus bancos de dados operacionais Amazon DynamoDB, como fontes de dados de terceiros, como Google BigQuery, MySQL, entre outros. O Catálogo de Dados oferece um repositório centralizado de metadados que facilita o gerenciamento e a descoberta de dados em sistemas diferentes.
Para obter mais informações, consulte [Trazendo seus dados para o AWS Glue Data Catalog](bring-your-data-overview.md).
**Topics**
+ [Ingestão e gerenciamento de dados](#features-general)
+ [Gerenciamento de segurança](#Security-management)
+ [Trazer seus dados para o Catálogo de Dados](#data-sharing)
### Ingestão e gerenciamento de dados
**Importe dados de bancos de dados já existentes AWS**
Depois de especificar onde estão seus bancos de dados existentes e fornecer suas credenciais de acesso, o Lake Formation lê os dados e seus metadados (esquema) para entender o conteúdo da fonte de dados. Em seguida, ele importa os dados para seu novo data lake e registra os metadados em um catálogo central. Com o Lake Formation, você pode importar dados de bancos de dados MySQL, PostgreSQL, SQL Server, MariaDB e Oracle executados no Amazon RDS ou hospedados no Amazon EC2. Tanto o carregamento de dados em massa quanto o incremental são suportados.
**Importar dados de outras fontes externas**
Você pode usar o Lake Formation para mover dados de bancos de dados on-premises conectando-se ao Java Database Connectivity (JDBC). Identifique suas fontes de destino e forneça credenciais de acesso no console, e o Lake Formation lê e carrega seus dados no data lake. Para importar dados de bancos de dados diferentes dos listados acima, você pode criar trabalhos ETL personalizados com o. AWS Glue
**Catalogue e rotule seus dados**
Você pode usar AWS Glue rastreadores para ler seus dados no Amazon S3, extrair o esquema do banco de dados e da tabela e armazenar esses dados em um catálogo de dados pesquisável. Em seguida, use o Lake Formation [Controle de acesso baseado em tags do Lake Formation](tag-based-access-control.md) (TBAC) para gerenciar as permissões em bancos de dados, tabelas e colunas. Para obter mais informações sobre como adicionar tabelas ao catálogo de dados, consulte [Criação de objetos no AWS Glue Data Catalog](populating-catalog.md).
### Gerenciamento de segurança
**Defina e gerencie controles de acesso**
O Lake Formation fornece um único local para gerenciar os controles de acesso aos dados em seu data lake. Você pode definir políticas de segurança que restrinjam o acesso aos dados nos níveis de banco de dados, tabela, coluna, linha e célula. Essas políticas se aplicam a usuários e funções do IAM e a usuários e grupos durante a federação por meio de um provedor de identidade externo. Você pode usar controles refinados para acessar dados protegidos pelo Lake Formation no Amazon Redshift Spectrum, AWS Glue Athena, ETL e Amazon EMR para Apache Spark. Sempre que você criar identidades do IAM, siga as práticas recomendadas do IAM. Para obter mais informações, consulte [Práticas recomendadas de segurança](https://docs.aws.amazon.com/IAM/latest/UserGuide/best-practices.html) no Guia do usuário do IAM.
**Modo de acesso híbrido**
O modo de acesso híbrido do Lake Formation oferece a flexibilidade de habilitar seletivamente as permissões do Lake Formation para bancos de dados e tabelas no Data Catalog. Com o modo de acesso híbrido, agora você tem um caminho incremental que permite definir permissões do Lake Formation para um conjunto específico de usuários sem interromper as políticas de permissão de outros usuários ou workload existentes. Para obter mais informações, consulte [Modo de acesso híbrido](hybrid-access-mode.md).
**Implementar o registro em log de auditoria**
O Lake Formation fornece registros de auditoria abrangentes CloudTrail para monitorar o acesso e mostrar a conformidade com políticas definidas centralmente. Você pode auditar o histórico de acesso aos dados em serviços de análise e machine learning que leem os dados em seu data lake por meio do Lake Formation. Isso permite que você veja quais usuários ou funções tentaram acessar quais dados, com quais serviços e quando. Você pode acessar os registros de auditoria da mesma forma que acessa qualquer outro CloudTrail registro usando o console CloudTrail APIs e. Para obter mais informações sobre CloudTrail registros, consulte[Registrando chamadas da API AWS Lake Formation usando AWS CloudTrail](logging-using-cloudtrail.md).
**Segurança por linha e célula**
O Lake Formation fornece filtros de dados que permitem restringir o acesso a uma combinação de colunas e linhas. Use a segurança por linha e célula para proteger dados confidenciais, como Informações de Identificação Pessoal (PII). Para obter mais informações sobre segurança por linha, consulte [Filtragem de dados e segurança por célula no Lake Formation](data-filtering.md).
**Controle de acesso com base em tags**
Use o [controle de acesso por atributo](https://docs.aws.amazon.com/lake-formation/latest/dg/tag-based-access-control.html) do Lake Formation para gerenciar centenas ou até milhares de permissões de dados criando rótulos personalizados chamados tags LF. Agora você pode definir tags do LF e anexá-las a bancos de dados, tabelas ou colunas. Em seguida, compartilhe o acesso controlado por meio de serviços de análises, de machine learning (ML) e de extração, transformação e carregamento (ETL) para consumo. As tags do LF garantem que a governança de dados possa ser escalada facilmente substituindo as definições de políticas de milhares de recursos por algumas tags lógicas. O Lake Formation fornece uma pesquisa baseada em texto sobre esses metadados, para que seus usuários possam encontrar rapidamente os dados que precisam analisar.
**Controle de acesso por atributo**
Use o [controle de acesso por atributo](https://docs.aws.amazon.com/lake-formation/latest/dg/attribute-based-access-control.html) para conceder acesso aos objetos do Data Catalog. O controle de acesso baseado em atributos (ABAC) é uma estratégia de autorização que define permissões com base em atributos. AWS chama esses atributos de tags. É possível usar o ABAC para conceder acesso às entidades principais na mesma conta ou em outra conta nos recursos do Data Catalog. Qualquer entidade principal do IAM com chaves e valores correspondentes de tag do IAM ou de tag de sessão recebe acesso ao recurso. É necessário ter permissões para concessão nos recursos para fazer essas concessões.
**Acesso entre contas**
Os recursos de gerenciamento de permissões do Lake Formation simplificam a proteção e o gerenciamento de lagos de dados distribuídos em várias AWS contas por meio de uma abordagem centralizada, fornecendo controle de acesso refinado ao catálogo de dados e aos locais do Amazon S3. Para obter mais informações, consulte [Compartilhamento de dados entre contas no Lake Formation](cross-account-permissions.md).
### Trazer seus dados para o Catálogo de Dados
O recurso de federação permite criar catálogos federados e configurar permissões em conjuntos de dados armazenados em diferentes fontes de dados, como o Amazon Redshift, sem migrar dados ou metadados para o Amazon S3 ou o AWS Glue Data Catalog. É possível usar os seguintes métodos para trazer dados e gerenciar permissões em conjuntos de dados externos no Lake Formation:
Para acessar mais informações, consulte [Trazer seus dados para o AWS Glue Data Catalog](https://docs.aws.amazon.com/lake-formation/latest/dg/bring-your-data-overview.html).
+ **Trazer dados nos data warehouses do Amazon Redshift para o AWS Glue Data Catalog**: registre um namespace existente do [Amazon Redshift](https://docs.aws.amazon.com/redshift/index.html) ou um cluster no Data Catalog e crie um catálogo federado de vários níveis no Data Catalog.
Você pode acessar seus dados usando qualquer mecanismo de consulta compatível com a especificação OpenAPI do catálogo REST do Apache Iceberg, como Amazon EMR Sem Servidor e Amazon Athena.
Para obter mais informações, consulte [Trazendo dados do Amazon Redshift para o AWS Glue Data Catalog](managing-namespaces-datacatalog.md).
+ **Federação no Catálogo de Dados a partir de fontes de dados externas** — Conecte o Catálogo de Dados a fontes de dados externas usando AWS Glue conexões e crie catálogos federados para gerenciar centralmente as permissões de acesso em conjuntos de dados usando o Lake Formation. Não é necessária nenhuma migração de metadados para o Data Catalog.
Para obter mais informações, consulte [Federando em fontes de dados externas no AWS Glue Data Catalog](federated-catalog-data-connection.md).
+ **Integração dos buckets de tabela do Amazon S3 com o catálogo de dados** — Você pode publicar e catalogar tabelas do Amazon S3 como objetos do catálogo de dados e registrar o catálogo como um local de dados do Lake Formation a partir do console do Lake Formation ou usando. AWS Glue APIs
Para obter mais informações, consulte [Integração de tabelas do Amazon S3 com e AWS Glue Data Catalog AWS Lake Formation](create-s3-tables-catalog.md).
+ **Criar catálogos para gerenciar Tabelas do Amazon Redshift no Data Catalog**: você pode não ter um cluster produtor do Amazon Redshift ou uma unidade de compartilhamento de dados do Amazon Redshift disponível atualmente, mas deseja criar e gerenciar Tabelas do Amazon Redshift usando o Data Catalog. Você pode começar criando um catálogo AWS Glue gerenciado usando a `glue:CreateCatalog` API ou o AWS Lake Formation console definindo o tipo de catálogo como `Managed` e `Catalog source` como **Redshift**.
Para obter mais informações, consulte [Criação de um catálogo gerenciado do Amazon Redshift no AWS Glue Data Catalog](create-rms-catalog.md).
+ **Integração do Lake Formation com o compartilhamento de dados do Amazon Redshift** – Use o Lake Formation para gerenciar centralmente as permissões de acesso por banco de dados, tabela, coluna e linha das unidades de compartilhamento de dados do Amazon [Redshift e restringir o acesso dos usuários a objetos](https://docs.aws.amazon.com/redshift/index.html) em uma unidade de compartilhamento de dados.
+ **Conectando o catálogo de dados a metástores externos** — Conecte-se AWS Glue Data Catalog a metastores externos para gerenciar permissões de acesso em conjuntos de dados no Amazon S3 usando o Lake Formation. Não é necessária nenhuma migração de metadados para o Data Catalog.
Para obter mais informações, consulte [Gerenciamento de permissões em conjuntos de dados que usam repositórios de dados externos](data-sharing-hms.md).
+ **Integrando o Lake Formation com o AWS Data Exchange** — O Lake Formation oferece suporte ao licenciamento de acesso aos seus dados por meio de. AWS Data Exchange Se você estiver interessado em licenciar seus dados do Lake Formation, consulte [O que é o AWS Data Exchange](https://docs.aws.amazon.com/data-exchange/latest/userguide/what-is.html) no *Guia do usuário do AWS Data Exchange *.
# AWS Lake Formation: como funciona
O AWS Lake Formation fornece um modelo de permissões do sistema de gerenciamento de banco de dados relacional (RDBMS) para conceder ou revogar o acesso aos recursos do catálogo de dados, como bancos de dados, tabelas e colunas com dados subjacentes no Amazon S3. As permissões fáceis de gerenciar do Lake Formation substituem as políticas complexas de bucket do Amazon S3 e as políticas correspondentes do IAM.
No Lake Formation, você pode implementar permissões em dois níveis:
+ Aplicação de permissões em nível de metadados nos recursos do catálogo de dados, como bancos de dados e tabelas
+ Gerenciar permissões de acesso ao armazenamento nos dados subjacentes armazenados no Amazon S3 em nome de mecanismos integrados
## Fluxo de trabalho de gerenciamento de permissões do Lake Formation
O Lake Formation se integra aos mecanismos analíticos para consultar armazenamentos de dados e objetos de metadados do Amazon S3 registrados no Lake Formation. O diagrama a seguir mostra como o gerenciamento de permissões funciona no Lake Formation.
![\[Diagram showing Lake Formation permissions enforcement layers and data access flow.\]](http://docs.aws.amazon.com/pt_br/lake-formation/latest/dg/images/lf-workflow.png)
**Etapas de alto nível do gerenciamento de permissões do Lake Formation**
Antes que o Lake Formation possa fornecer controles de acesso aos dados em seu data lake, um [*administrador de data lake*](initial-lf-config.md#create-data-lake-admin) ou um usuário com permissões administrativas configura políticas de usuário individuais da tabela do catálogo de dados para permitir ou negar acesso às tabelas do catálogo de dados usando as permissões do Lake Formation.
Em seguida, o administrador do data lake ou um usuário delegado pelo administrador concede permissões do Lake Formation aos usuários nos bancos de dados e tabelas do catálogo de dados e registra a localização da tabela no Amazon S3 no Lake Formation.
1. **Obter metadados** — Uma entidade principal (usuário) envia uma consulta ou um script de ETL para um [mecanismo analítico integrado](working-with-services.md), como Amazon Athena, AWS Glue, Amazon EMR ou Amazon Redshift Spectrum. O mecanismo analítico integrado identifica a tabela que está sendo solicitada e envia uma solicitação de metadados para o catálogo de dados.
1. **Verificar permissões** — O catálogo de dados verifica as permissões do usuário com o Lake Formation e, se o usuário estiver autorizado a acessar a tabela, retorna os metadados que o usuário tem permissão para ver para o mecanismo.
1. **Obter credenciais** — O catálogo de dados permite que o mecanismo saiba se a tabela é gerenciada pelo Lake Formation ou não. Se os dados subjacentes forem registrados no Lake Formation, o mecanismo analítico solicitará que o Lake Formation forneça acesso aos dados concedendo acesso temporário.
1. **Obter dados** — Se o usuário estiver autorizado a acessar a tabela, o Lake Formation fornecerá acesso temporário ao mecanismo analítico integrado. Ao usar o acesso temporário, o mecanismo analítico busca os dados do Amazon S3 e executa a filtragem necessária, como filtragem por coluna, linha ou célula. Quando o mecanismo termina de executar o trabalho, ele retorna os resultados para o usuário. Esse processo chamado de [fornecimento de credenciais](using-cred-vending.md).
Se a tabela não for gerenciada pelo Lake Formation, a segunda chamada do mecanismo analítico será feita diretamente para o Amazon S3. A política de bucket do Amazon S3 e a política de usuário do IAM em questão são avaliadas quanto ao acesso aos dados.
Sempre que você usar as políticas do IAM, siga as práticas recomendadas do IAM. Para obter mais informações, consulte [Práticas recomendadas de segurança no IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/best-practices.html) no *Guia do usuário do IAM*.
**Topics**
+ [Fluxo de trabalho de gerenciamento de permissões do Lake Formation](#lf-workflow)
+ [Permissões de metadados](metadata-permissions.md)
+ [Gerenciar o acesso às do armazenamento](storage-permissions.md)
+ [Compartilhamento de dados entre contas no Lake Formation](cross-data-sharing-lf.md)
# Permissões de metadados
O Lake Formation fornece autorização e controle de acesso ao catálogo de dados. Quando um perfil do IAM faz uma chamada de API do catálogo de dados de qualquer sistema, o catálogo de dados verifica as permissões de dados do usuário e retorna somente os metadados que o usuário tem permissão para acessar. Por exemplo, se um perfil do IAM tiver acesso a somente uma tabela em um banco de dados e um serviço ou um usuário supondo que a função execute a operação `GetTables`, a resposta conterá somente uma tabela, independentemente do número de tabelas no banco de dados.
**Configurações padrão - permissões de grupo `IAMAllowedPrincipal`**
AWS Lake Formation, por padrão, define permissões para todos os bancos de dados e tabelas para um grupo virtual chamado `IAMAllowedPrincipal`. Esse grupo é único e visível somente dentro do Lake Formation. O grupo `IAMAllowedPrincipal` inclui todas as entidades principais do IAM que possuem acesso aos recursos do catálogo de dados por meio das políticas de entidades principais e de AWS Glue recursos do IAM. Se essas permissões existirem em um banco de dados ou tabela, todas as entidades principais terão acesso ao banco de dados ou à tabela.
Se você quiser fornecer permissões mais granulares em um banco de dados ou tabela, remova a permissão `IAMAllowedPrincipal` e o Lake Formation aplicará todas as outras políticas associadas a esse banco de dados ou tabela. Por exemplo, se houver uma política que permita ao Usuário A acessar o Banco de Dados A com permissões `DESCRIBE` e `IAMAllowedPrincipal` existir com todas as permissões, o Usuário A continuará executando todas as outras ações até que a permissão `IAMAllowedPrincipal` seja revogada.
Além disso, por padrão, o grupo `IAMAllowedPrincipal` tem permissões em todos os novos bancos de dados e tabelas quando eles são criados. Há duas configurações que controlam esse comportamento. A primeira está no nível da conta e da região, que permite isso para bancos de dados recém-criados, e a segunda está no nível do banco de dados. Para modificar a configuração padrão, consulte [Alterar o modelo de permissão padrão ou usar o modo de acesso híbrido](initial-lf-config.md#setup-change-cat-settings).
## Conceder permissões
Os administradores do data lake podem conceder permissões do catálogo de dados às entidades principais para que elas possam criar e gerenciar bancos de dados e tabelas e acessar os dados subjacentes.
**Permissões em nível de banco de dados e tabela**
Quando você concede permissões no Lake Formation, o concedente deve especificar a entidade principal à qual conceder permissões, os recursos para os quais conceder permissões e as ações que o beneficiário deve ter acesso para realizar. Para a maioria dos recursos do Lake Formation, a lista de entidades principais e os recursos para conceder permissões são semelhantes, mas as ações que um beneficiário pode realizar diferem com base no tipo de recurso. Por exemplo, as permissões `SELECT` estão disponíveis para que as tabelas leiam as tabelas, mas as permissões `SELECT` não são permitidas nos bancos de dados. A permissão `CREATE_TABLE` é permitida em bancos de dados, mas não em tabelas.
Você pode conceder permissões AWS Lake Formation usando dois métodos:
+ [Método de recurso nomeado](granting-cat-perms-named-resource.md) — Permite escolher nomes de banco de dados e tabelas enquanto concede permissões aos usuários.
+ [Controle de acesso baseado em tags do LF (LF-TBAC)](granting-catalog-perms-TBAC.md) — Os usuários criam tags do LF, as associam aos recursos do catálogo de dados, concedem permissão `Describe` sobre tags do LF, associam permissões a usuários individuais e escrevem políticas de permissões do LF usando tags do LF para usuários diferentes. Essas políticas baseadas em tags do LF se aplicam a todos os recursos do catálogo de dados associados a esses valores de tags do LF.
**nota**
As tags do LF são exclusivas do Lake Formation. Elas só são visíveis no Lake Formation e não devem ser confundidas com tags de recursos da AWS.
O LF-TBAC é um recurso que permite aos usuários agrupar recursos em categorias definidas pelo usuário de tags do LF e aplicar permissões a esses grupos de recursos. Portanto, é a melhor maneira de escalar as permissões em um grande número de recursos do catálogo de dados.
Para obter mais informações, consulte [Controle de acesso baseado em tags do Lake Formation](tag-based-access-control.md).
Quando você concede permissões a uma entidade principal, o Lake Formation avalia as permissões como uma união de todas as políticas desse usuário. Por exemplo, se você tiver duas políticas em uma tabela para uma entidade principal em que uma política concede permissões às colunas col1, col2 e col3 por meio do método de recurso nomeado, e a outra política concede permissões para a mesma tabela e principal para col5 e col6 por meio de tags do LF, as permissões efetivas serão uma união das permissões que seriam col1, col2, col3, col5 e col6. Isso também inclui filtros de dados e linhas.
**Permissões de localização de dados**
As permissões de localização de dados fornecem aos usuários não administrativos a capacidade de criar bancos de dados e tabelas em locais específicos do Amazon S3. Se um usuário tentar criar um banco de dados ou uma tabela em um local que não tenha permissão para criar, a tarefa de criação falhará. Isso evita que os usuários criem tabelas em locais arbitrários dentro do data lake e fornece controle sobre onde esses usuários podem ler e gravar dados. Há uma permissão implícita ao criar tabelas na localização do Amazon S3 dentro do banco de dados em que elas estão sendo criadas. Para obter mais informações, consulte [Conceder permissões de localização de dados](granting-location-permissions.md).
**Crie permissões de tabela e banco de dados**
Usuários não administrativos, por padrão, não têm permissões para criar bancos de dados ou tabelas em um banco de dados. A criação do banco de dados é controlada no nível da conta usando as configurações do Lake Formation para que somente entidades principais autorizadas possam criar bancos de dados. Para obter mais informações, consulte [Criação de um banco de dados](creating-database.md). Para criar uma tabela, uma entidade principal requer `CREATE_TABLE` permissão no banco de dados em que a tabela está sendo criada. Para obter mais informações, consulte [Criar tabelasAWS Glue Data Catalog Vistas do edifício](creating-tables.md).
**Permissões implícitas e explícitas**
O Lake Formation fornece permissões implícitas, dependendo da persona e das ações que a persona realiza. Por exemplo, os administradores do data lake obtêm automaticamente permissões `DESCRIBE` para todos os recursos no catálogo de dados, permissões de localização de dados em todos os locais, permissões para criar bancos de dados e tabelas em todos os locais, bem como permissões `Grant` e `Revoke` em qualquer recurso. Os criadores de banco de dados obtêm automaticamente todas as permissões de banco de dados nos bancos de dados que eles criam, e os criadores de tabelas obtêm todas as permissões nas tabelas que eles criam. Para obter mais informações, consulte [Permissões implícitas do Lake Formation](implicit-permissions.md).
**Permissões concedidas**
Os administradores do data lake têm a capacidade de delegar o gerenciamento de permissões a usuários não administrativos fornecendo permissões concedidas. Quando uma entidade principal recebe permissões concedidas sobre um recurso e um conjunto de permissões, essa entidade principal ganha a capacidade de conceder permissões a outras entidades principais nesse recurso.
# Gerenciar o acesso às do armazenamento
O Lake Formation usa a funcionalidade de [fornecimento de credenciais](using-cred-vending.md) para conceder acesso temporário aos dados do Amazon S3. O fornecimento de credenciais, ou fornecimento de tokens, é um padrão comum que disponibiliza credenciais temporárias a usuários, serviços ou alguma outra entidade com o objetivo de conceder acesso de curto prazo a um recurso.
A Lake Formation aproveita esse padrão para fornecer acesso de curto prazo a serviços de análise da AWS, como o Athena, para acessar dados em nome da entidade principal responsável pela chamada. Ao conceder permissões, os usuários não precisam atualizar suas políticas de bucket do Amazon S3 ou políticas do IAM e não precisam de acesso direto ao Amazon S3.
O diagrama a seguir mostra como o Lake Formation fornece acesso temporário aos locais registrados:
![\[Diagram showing Lake Formation's process for providing temporary access to registered locations.\]](http://docs.aws.amazon.com/pt_br/lake-formation/latest/dg/images/storage-permissions-workflow.png)
1. Uma entidade principal (usuário) insere uma consulta ou solicitação de dados para uma tabela por meio de um serviço integrado confiável, como Athena, Amazon EMR, Redshift Spectrum ou o AWS Glue.
1. O serviço integrado verifica a autorização da Lake Formation para a tabela e as colunas solicitadas e determina a autorização. Se o usuário não estiver autorizado, o Lake Formation nega o acesso aos dados e a consulta falhará.
1. Depois que a autorização é bem-sucedida e a autorização de armazenamento é ativada para a tabela e o usuário, o serviço integrado recupera as credenciais temporárias do Lake Formation para acessar os dados.
1. O serviço integrado usa as credenciais temporárias do Lake Formation para solicitar objetos do Amazon S3.
1. O Amazon S3 fornece objetos do Amazon S3 para o serviço integrado. Os objetos do Amazon S3 contêm todos os dados da tabela.
1. O serviço integrado executa a aplicação necessária das políticas do Lake Formation, como filtragem em nível de coluna, nível de linha e/ou nível de célula. O serviço integrado processa as consultas e retorna os resultados ao usuário.
**Habilite a aplicação de permissões em nível de armazenamento para tabelas do catálogo de dados**
Por padrão, a imposição em nível de armazenamento não está habilitada para tabelas no catálogo de dados. Para permitir a fiscalização em nível de armazenamento, você deve registrar a localização dos seus dados de origem no Amazon S3 no Lake Formation e fornecer um perfil do IAM. As permissões em nível de armazenamento serão habilitadas para todas as tabelas com o mesmo caminho de localização da tabela ou prefixo da localização do Amazon S3.
Quando um serviço integrado solicita acesso ao local de dados em nome de um usuário, o serviço Lake Formation assume essa função e retorna as credenciais ao serviço solicitado com permissões reduzidas ao recurso para que o acesso aos dados possa ser feito. O perfil do IAM registrado deve ter todo o acesso necessário às do local do Amazon S3, incluindo chaves do AWS KMS.
Para obter mais informações, consulte [Registrando uma localização do Amazon S3](register-location.md).
**Serviços da AWS compatíveis**
Serviços analíticos da AWS, como Athena, Redshift Spectrum, Amazon EMR, AWS Glue, Amazon Quick e Amazon SageMaker AI se integram ao AWS Lake Formation usando as operações da API de fornecimento automático de credenciais do Lake Formation. Para ver uma lista completa dos serviços AWS que se integram ao Lake Formation e o nível de granularidade e os formatos de tabela compatíveis com eles, consulte [Trabalhando com outros AWS serviços](working-with-services.md).
# Compartilhamento de dados entre contas no Lake Formation
Com o Lake Formation, você pode compartilhar recursos do catálogo de dados (bancos de dados e tabelas) dentro de uma conta AWS e entre contas em uma configuração simples usando o método de recurso nomeado ou tags do LF. Você pode compartilhar um banco de dados inteiro ou selecionar tabelas de um banco de dados com qualquer entidade principal do IAM (perfis e usuários do IAM) em uma conta, com outras contas AWS no nível da conta ou diretamente com entidades principais do IAM em outra conta.
Você também pode compartilhar tabelas do catálogo de dados com filtros de dados para restringir o acesso aos detalhes em nível de linha e de célula. O Lake Formation usa AWS Resource Access Manager (AWS RAM) para facilitar a concessão de permissões entre contas. Quando um recurso é compartilhado entre duas contas, AWS RAM envia convites para a conta do destinatário. Quando um usuário aceita um convite de compartilhamento do AWS RAM, o AWS RAM fornece as permissões necessárias para que o Lake Formation tenha os recursos do catálogo de dados disponíveis, bem como habilite a imposição do nível de armazenamento. Para obter mais informações, consulte [Compartilhamento de dados entre contas no Lake Formation](cross-account-permissions.md).
Quando o administrador do data lake da conta do destinatário aceita o compartilhamento do AWS RAM, os recursos compartilhados ficam disponíveis na conta do destinatário. O administrador do data lake concede mais permissões do Lake Formation no recurso compartilhado a outras entidades principais do IAM na conta do destinatário, se o administrador tiver permissões `GRANTABLE` no recurso compartilhado.
No entanto, as entidades principais não podem consultar os recursos compartilhados usando o Athena ou o Redshift Spectrum sem um link de recurso. Um link de recurso é uma entidade no catálogo de dados e é semelhante ao conceito de Linux-Symlink.
O administrador do data lake da conta do destinatário cria um link no recurso compartilhado. O administrador concede permissões `Describe` no link do recurso com as permissões necessárias no recurso compartilhado original para outros usuários. Um usuário na conta do destinatário pode então usar o link para consultar o recurso compartilhado usando o Athena e o Redshift Spectrum. Para obter mais informações sobre links de recursos, consulte [Criação de links de recursos](creating-resource-links.md).
# Componentes do Lake Formation
AWS Lake Formation depende da interação de vários componentes para criar e gerenciar seu data lake.
## Lake Formation
Você usa o console do Lake Formation para definir e gerenciar seu data lake e conceder e revogar permissões do Lake Formation. Você pode usar esquemas no console para descobrir, limpar, transformar e ingerir dados. É possível habilitar ou desabilitar o acesso ao console para usuários individuais do Lake Formation.
## API e interface de linha de comando do Lake Formation
Lake Formation fornece operações de API por meio de vários SDKs específicos de linguagem e do AWS Command Line Interface (AWS CLI). O Lake Formation API funciona em conjunto com a API do AWS Glue. A API Lake Formation se concentra principalmente no gerenciamento de permissões do Lake Formation, enquanto a API do AWS Glue fornece uma API do catálogo de dados e uma infraestrutura gerenciada para definir, programar e executar operações de ETL em seus dados.
Para obter informações sobre a API do AWS Glue, consulte o [ Guia do desenvolvedor do AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/). Para obter informações sobre como usar a AWS CLI, consulte a [Referência de comandos da AWS CLI](https://docs.aws.amazon.com/cli/latest/reference/).
## Outros serviços da AWS
O Lake Formation usa os seguintes serviços:
+ [https://docs.aws.amazon.com/glue/latest/dg/](https://docs.aws.amazon.com/glue/latest/dg/) para orquestrar trabalhos e crawlers para transformar dados usando as transformações no AWS Glue.
+ O [IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/) concederá políticas de permissões às entidades principais do Lake Formation. O modelo de permissão do Lake Formation aumenta o modelo de permissão do IAM para proteger seu data lake.
# Terminologia do Lake Formation
A seguir estão alguns termos importantes que você encontrará neste guia.
## Data lake
O *data lake* são seus dados persistentes que são armazenados no Amazon S3 e gerenciados pelo Lake Formation usando um catálogo de dados. Um data lake normalmente armazena o seguinte:
+ Dados estruturados e não estruturados
+ Dados brutos e dados transformados
Para que um caminho do Amazon S3 esteja dentro de um data lake, ele deve ser *registrado* com o Lake Formation.
## Acesso aos dados
O Lake Formation fornece acesso seguro e granular aos dados por meio de um novo modelo de conceção/revogação de permissões que amplia as políticas do AWS Identity and Access Management (IAM).
Analistas e cientistas de dados podem usar o portfólio completo de serviços analíticos AWS e de machine learning, como o Amazon Athena, para acessar os dados. As políticas de segurança configuradas do Lake Formation ajudam a garantir que os usuários possam acessar somente os dados que estão autorizados a acessar.
## Modo de acesso híbrido
O modo de acesso híbrido permite proteger e acessar os dados catalogados usando as permissões do Lake Formation e as permissões do IAM e do Amazon S3. O modo de acesso híbrido permite que os administradores de dados integrem as permissões do Lake Formation de forma seletiva e incremental, concentrando-se em um caso de uso do data lake por vez.
## Blueprint
Um *esquema* é um modelo de gerenciamento de dados que permite a ingestão fácil de dados em um data lake. O Lake Formation fornece vários esquemas, um para cada tipo de fonte predefinido, como um banco de dados relacional ou logs do AWS CloudTrail. A partir de um esquema, você pode criar um fluxo de trabalho. Os fluxos de trabalho consistem em crawlers do AWS Glue, tarefas e acionadores que são gerados para orquestrar o carregamento e a atualização dos dados. Os esquemas usam a fonte de dados, o destino dos dados e o cronograma como entrada para configurar o fluxo de trabalho.
## Fluxo de trabalho
Um *fluxo de trabalho* é um contêiner de um conjunto de tarefas relacionadas do AWS Glue, crawlers e gatilhos. Você cria o fluxo de trabalho no Lake Formation e ele é executado no serviço do AWS Glue. O Lake Formation pode rastrear o status de um fluxo de trabalho como uma entidade única.
Ao definir um fluxo de trabalho, você seleciona o esquema no qual ele se baseia. Em seguida, você pode executar fluxos de trabalho sob demanda ou de acordo com um cronograma.
Os fluxos de trabalho que você cria no Lake Formation são visíveis no console do AWS Glue como um gráfico acíclico direcionado (DAG). Ao usar o DAG, você pode acompanhar o andamento do fluxo de trabalho e solucionar o problema.
## catálogo de dados
O *catálogo de dados* é seu armazenamento de metadados persistente. É um serviço gerenciado que permite armazenar, anotar e compartilhar metadados na Nuvem AWS da mesma maneira que você faria em uma metastore do Apache Hive. Ele fornece um repositório uniforme onde sistemas diferentes podem armazenar e encontrar metadados para rastrear dados em silos de dados e, em seguida, usar esses metadados para consultar e transformar os dados. O Lake Formation usa o catálogo de dados do AWS Glue para armazenar metadados sobre data lakes, fontes de dados, transformações e destinos.
Os metadados sobre fontes e destinos de dados estão na forma de bancos de dados e tabelas. As tabelas armazenam informações de esquemas, localização e muito mais. Bancos de dados são coleções de tabelas. O Lake Formation fornece uma hierarquia de permissões para controlar o acesso a bancos de dados e tabelas no catálogo de dados.
Cada conta da AWS tem um catálogo de dados por região da AWS.
## Dados subjacentes
*Os dados subjacentes* se referem aos dados de origem ou aos dados dentro dos data lakes para os quais as tabelas do catálogo de dados apontam.
## Entidade principal
Uma *entidade principal* é um usuário ou um perfil (IAM) AWS Identity and Access Management ou um usuário do Diretório Ativo.
## Administrador do data lake
Um *administrador de data lake* é uma entidade principal que pode conceder a qualquer entidade principal (inclusive a si mesmo) qualquer permissão em qualquer recurso ou local de dados do catálogo de dados. Designe um administrador de data lake como o primeiro usuário do catálogo de dados. Esse usuário pode, então, conceder permissões mais granulares de recursos a outras entidades principais.
**nota**
Os usuários administrativos do IAM – usuários com a política `AdministratorAccess` gerenciada por AWS – não são automaticamente administradores de data lake. Por exemplo, eles não podem conceder permissões do Lake Formation em objetos do catálogo, a menos que tenham recebido permissão para fazer isso. No entanto, eles podem usar o console ou a API do Lake Formation para se designarem como administradores do data lake.
Para obter informações sobre os recursos de um administrador de data lake, consulte [Permissões implícitas do Lake Formation](implicit-permissions.md). Para obter informações sobre como designar um usuário como administrador de data lake, consulte [Crie um administrador de data lake](initial-lf-config.md#create-data-lake-admin).
# AWS integrações de serviços com Lake Formation
Você pode usar o Lake Formation para gerenciar as permissões de acesso no nível do banco de dados, da tabela e da coluna sobre os dados armazenados no Amazon S3. Depois que seus dados forem registrados no Lake Formation, você poderá usar serviços AWS analíticos como Amazon Athena AWS Glue, Amazon Redshift Spectrum e Amazon EMR para consultar os dados. Os AWS serviços a seguir se integram AWS Lake Formation e honram as permissões do Lake Formation.
| AWS Serviço | Os detalhes da integração |
| --- | --- |
| [https://docs.aws.amazon.com/glue/latest/dg/](https://docs.aws.amazon.com/glue/latest/dg/) | Tópico de referência: [Usando AWS Lake Formation com AWS Glue](glue-features-lf.md) O AWS Glue e o Lake Formation compartilham o mesmo catálogo de dados. Para operações de console (como visualizar uma lista de tabelas) e todas as operações de API, os usuários do AWS Glue podem acessar somente os bancos de dados e tabelas nos quais têm permissões do Lake Formation. |
| [Amazon Athena](https://docs.aws.amazon.com/athena/latest/ug/) | Tópico de referência: [Usando AWS Lake Formation com o Amazon Athena](athena-lf.md) Usar o Lake Formation para permitir ou negar permissões para ler dados no Amazon S3. Quando os usuários do Amazon Athena selecionam o catálogo do AWS Glue no editor de consultas, eles podem consultar somente os bancos de dados, tabelas e colunas nos quais têm permissões do Lake Formation. Consultas usando manifestos não são aceitas. Atualmente, o Lake Formation não oferece suporte ao gerenciamento de permissões em operações de gravação como `VACUUM`, `MERGE`, `UPDATE` e `OPTIMIZE` em tabelas em formatos de tabela aberta. Além dos diretores que se autenticam com o Athena por meio do AWS Identity and Access Management (IAM), o Lake Formation oferece suporte aos usuários do Athena que se conectam por meio do driver JDBC ou ODBC e se autenticam por meio do SAML. Os provedores de SAML aceitos incluem o Okta e o Microsoft Active Directory Federation Service (AD FS). |
| [Amazon Redshift Spectrum](https://docs.aws.amazon.com/redshift/latest/dg/c-using-spectrum.html) | Tópico de referência: [Usando AWS Lake Formation com o Amazon Redshift Spectrum](RSPC-lf.md) Quando os usuários do Amazon Redshift criam um esquema externo em um banco de dados no AWS Glue Data Catalog, eles podem consultar somente as tabelas e colunas desse esquema nas quais tenham permissões do Lake Formation. |
| [Amazon Quick Enterprise Edition](https://docs.aws.amazon.com/quicksight/latest/user/welcome.html) | Referência: [Usando AWS Lake Formation com o Quick](qs-integ-lf.md) Quando um usuário do Amazon Quick Enterprise Edition consulta um conjunto de dados em um local do Amazon S3, o usuário deve ter a permissão Lake `SELECT` Formation nos dados. |
| [Amazon EMR](https://docs.aws.amazon.com/emr/latest/DeveloperGuide/) | Referência: [Usando AWS Lake Formation com o Amazon EMR](emr-integ-lf.md) Você pode integrar as permissões do Lake Formation ao criar um cluster do Amazon EMR com uma função de runtime. Uma função de tempo de execução é uma função do IAM que você associa a trabalhos ou consultas do Amazon EMR e, em seguida, o Amazon EMR usa essa função para acessar recursos. AWS |
O Lake Formation também trabalha com o [AWS Key Management Service](https://docs.aws.amazon.com/kms/latest/developerguide/overview.html)(AWS KMS) para permitir que você configure com mais facilidade esses serviços integrados para criptografar e descriptografar dados em locais do Amazon Simple Storage Service (Amazon S3).
# Recursos adicionais do Lake Formation
Para obter mais informações sobre o AWS Lake Formation, recomendamos que continue aprendendo os conceitos apresentados neste guia usando os seguintes recursos:
**Topics**
+ [Blogs](#lf-blogs)
+ [Palestras técnicas e webinars](#talks-webinars)
+ [Arquitetura moderna](#modern-day-architecture)
+ [Recursos de data mesh](#data-mesh-resources)
+ [Guias de práticas recomendadas](#best-practice-lf)
## Blogs
+ [AWS Lake Formation — Análise do ano de 2022](https://aws.amazon.com/blogs/big-data/aws-lake-formation-2022-year-in-review/)
+ [Arquitetura de dados moderna e multirregional altamente resiliente](https://aws.amazon.com/blogs/big-data/build-a-multi-region-and-highly-resilient-modern-data-architecture-using-aws-glue-and-aws-lake-formation/)
+ [Compartilhamento entre contas usando tags do LF para direcionar entidades principais do IAM](https://aws.amazon.com/blogs/big-data/enable-cross-account-sharing-with-direct-iam-principals-using-aws-lake-formation-tags/)
+ [Painel de inventário de permissões do Lake Formation](https://aws.amazon.com/blogs/big-data/build-an-aws-lake-formation-permissions-inventory-dashboard-using-aws-glue-and-amazon-quicksight/)
+ [Data mesh orientada por eventos](https://aws.amazon.com/blogs/big-data/use-an-event-driven-architecture-to-build-a-data-mesh-on-aws/)
## Palestras técnicas e webinars
+ re:Invent 2020 — [Data lakes: Crie, proteja e compartilhe com facilidade com AWS Lake Formation](https://www.youtube.com/watch?v=r5F0hvuq9kY)
+ re:Invent 2022 — [Construindo e operando um datalake no Amazon S3](https://www.youtube.com/watch?v=YCNVdK5kPWk)
+ AWS Summit SF 2022 — [Entendendo e alcançando uma arquitetura de dados moderna](https://www.youtube.com/watch?v=rWQQDcqgcdw)
+ AWS Summit ATL 2022 — [Data lakes modernos com o AWS Lake Formation, Amazon Redshift e AWS Glue](https://www.youtube.com/watch?v=7H15CYpJRRI)
+ AWS Summit ANZ 2022 — [Data lakes, lake houses e data mesh: o quê, por quê e como?](https://www.youtube.com/watch?v=3354wJV3X58)
+ AWS Palestras técnicas online — [Simplificando as permissões e a governança em seu data lake ](https://www.youtube.com/watch?v=OybeggHYfRI)
## Arquitetura moderna
+ [Padrões de arquitetura moderna](https://docs.aws.amazon.com/wellarchitected/latest/analytics-lens/modern-data-architecture.html)
## Recursos de data mesh
+ [Crie uma arquitetura de dados moderna e um padrão de data mesh em grande escala usando controle de acesso AWS Lake Formation baseado em tags](https://aws.amazon.com/blogs/big-data/build-a-modern-data-architecture-and-data-mesh-pattern-at-scale-using-aws-lake-formation-tag-based-access-control/)
+ [Como o JPMorgan Chase construiu uma arquitetura de data mesh para gerar valor significativo e aprimorar sua plataforma de dados corporativos](https://aws.amazon.com/blogs/big-data/how-jpmorgan-chase-built-a-data-mesh-architecture-to-drive-significant-value-to-enhance-their-enterprise-data-platform/)
+ [Crie uma data mesh no AWS](https://catalog.us-east-1.prod.workshops.aws/workshops/23e6326b-58ee-4ab0-9bc7-3c8d730eb851/en-US)
## Guias de práticas recomendadas
+ [Guias de práticas recomendadas do AWS Lake Formation](https://aws.github.io/aws-lakeformation-best-practices/)
## Introdução ao Lake Formation
Recomendamos que você inicie por estas seções:
+ [AWS Lake Formation: como funciona](how-it-works.md): aprenda sobre a terminologia essencial e como os vários componentes interagem.
+ [Introdução ao Lake Formation](getting-started-setup.md): obtenha informações sobre os pré-requisitos e conclua tarefas importantes de configuração.
+ [AWS Lake Formation tutoriais](getting-started-tutorials.md)— Siga os step-by-step tutoriais para aprender a usar o Lake Formation.
+ [Segurança em AWS Lake Formation](security.md): entenda como você pode ajudar a proteger o acesso a dados no Lake Formation.