View a markdown version of this page

Intégration d'Amazon S3 Tables avec AWS Glue Data Catalog et AWS Lake Formation - AWS Lake Formation
Comment fonctionne l'intégration du catalogue de données et de la Lake Formation

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Intégration d'Amazon S3 Tables avec AWS Glue Data Catalog et AWS Lake Formation

Les tables Amazon S3 fournissent un stockage S3 spécifiquement optimisé pour les charges de travail d'analyse, améliorant ainsi les performances des requêtes tout en réduisant les coûts. Les données figurant dans S3 Tables sont stockées dans un nouveau type de compartiment : un compartiment de tables, qui stocke les tables en tant que sous-ressources. Les tables S3 prennent en charge la norme Apache Iceberg, qui vous permet d'interroger facilement des données tabulaires dans des compartiments de tables Amazon S3 à l'aide de moteurs de requête populaires tels qu'Apache Spark.

Vous pouvez intégrer les tables Amazon S3 à AWS Glue Data Catalog l'aide de contrôles d'accès IAM ou de subventions IAM et Lake Formation :

  • Contrôle d'accès IAM : utilise des politiques IAM pour contrôler l'accès aux tables S3 et au catalogue de données. Dans cette approche de contrôle d'accès, vous avez besoin d'autorisations IAM sur les ressources des tables S3 et sur les objets du catalogue de données pour accéder aux ressources.

  • Contrôle d'accès à Lake Formation : utilise AWS Lake Formation des autorisations en plus des autorisations AWS Glue IAM pour contrôler l'accès aux tables S3 via le catalogue de données. Dans ce mode, les principaux ont besoin d'autorisations IAM pour interagir avec le catalogue de données, et les subventions de Lake Formation déterminent les ressources du catalogue (bases de données, tables, colonnes, lignes) auxquelles le principal peut accéder. Ce mode prend en charge à la fois un contrôle d'accès grossier (autorisations au niveau de la base de données et au niveau de la table) et un contrôle d'accès détaillé (sécurité au niveau des colonnes et au niveau des lignes). Lorsqu'un rôle enregistré est configuré et que la vente d'informations d'identification est activée, les autorisations IAM de S3 Tables ne sont pas requises pour le principal, car Lake Formation vend les informations d'identification au nom du principal en utilisant le rôle enregistré. Le contrôle d'accès à Lake Formation prend également en charge la vente d'informations d'identification pour les moteurs d'analyse tiers.

Cette section fournit des conseils pour configurer l'intégration avec AWS Lake Formation pour les scénarios suivants :

Assurez-vous de suivre les étapes décrites dans la section Intégration des tables S3 aux services d' AWS analyse afin de disposer des autorisations appropriées pour accéder aux AWS Glue Data Catalog ressources de vos tables et pour utiliser les services d' AWS analyse.

Rubriques

Comment fonctionne l'intégration du catalogue de données et de la Lake Formation

Lorsque vous intégrez le catalogue de tables S3 au catalogue de données et à Lake Formation, le AWS Glue service crée un catalogue fédéré unique appelé s3tablescatalog dans le catalogue de données par défaut de votre compte, spécifique à votre Région AWS compte. L'intégration mappe toutes les ressources du bucket de tables Amazon S3 de votre compte Région AWS et du catalogue fédéré de la manière suivante :

  • Les compartiments de table Amazon S3 deviennent un catalogue à plusieurs niveaux dans le catalogue de données.

  • L'espace de noms Amazon S3 associé est enregistré en tant que base de données dans le catalogue de données.

  • Les tables Amazon S3 du compartiment de tables deviennent des tables du catalogue de données.

Cartographie d'objets entre les tables S3 et AWS Glue Data Catalog.

Après l'intégration à Lake Formation, vous pouvez créer des tables Apache Iceberg dans le catalogue de compartiments de tables et y accéder via des moteurs AWS d'analyse intégrés tels qu' Amazon Athena Amazon EMR ainsi que des moteurs d'analyse tiers.

Lorsque vous activez également l'intégration de Lake Formation, cela permet un contrôle d'accès précis. AWS Lake Formation Cette approche de sécurité signifie qu'en plus des autorisations Gestion des identités et des accès AWS (IAM), vous devez accorder à votre principal IAM des autorisations Lake Formation sur vos tables avant de pouvoir travailler avec elles.

Il existe deux principaux types d’autorisations dans AWS Lake Formation :

  • Les autorisations d’accès aux métadonnées contrôlent la capacité de créer, de lire, de mettre à jour et de supprimer des bases de données et des tables de métadonnées dans le catalogue de données.

  • Les autorisations d’accès aux données sous-jacentes contrôlent la capacité à lire et à écrire des données dans les emplacements Amazon S3 sous-jacents vers lesquels pointent les ressources du catalogue de données.

Lake Formation utilise une combinaison de son propre modèle d’autorisations et du modèle d’autorisations IAM pour contrôler l’accès aux ressources des catalogues de données et aux données sous-jacentes :

  • Pour qu’une demande d’accès aux ressources du catalogue de données ou aux données sous-jacentes aboutisse, elle doit passer les contrôles d’autorisation par IAM et Lake Formation.

  • Les autorisations IAM contrôlent l'accès à la Formation AWS Glue APIs et aux ressources du lac, tandis que les autorisations Lake Formation contrôlent l'accès aux ressources du catalogue de données, aux sites Amazon S3 et aux données sous-jacentes.

Les autorisations Lake Formation ne s’appliquent que dans la région dans laquelle elles ont été accordées, et un principal doit être autorisé par un administrateur de lac de données ou un autre principal disposant des autorisations nécessaires pour obtenir les autorisations Lake Formation.