Integración con Tablas de Amazon S3 - AWS Glue

Integración con Tablas de Amazon S3

La integración del Catálogo de datos de AWS Glue con Tablas de Amazon S3 permite descubrir, consultar y combinar Tablas de S3 con datos en lagos de datos de Amazon S3 por medio de un único catálogo. Al integrar Tablas de S3 con el Catálogo de datos, el servicio crea una estructura de catálogo federado que asigna los recursos de Tablas de S3 a objetos del catálogo de AWS Glue:

  • Un bucket de tabla de S3 se convierte en un catálogo dentro del Catálogo de datos

  • Un espacio de nombres de S3 se convierte en una base de datos de AWS Glue

  • Una tabla de S3 se convierte en una tabla de AWS Glue

Controles de acceso

El Catálogo de datos admite dos modos de control de acceso para la integración con Tablas de S3:

  • Control de acceso de IAM: utiliza políticas de IAM para controlar el acceso a Tablas de S3 y al Catálogo de datos. Con este enfoque, se requieren permisos de IAM tanto sobre los recursos de Tablas de S3 como sobre los objetos del Catálogo de datos para acceder a los recursos.

  • Control de acceso AWS Lake Formation: utiliza concesiones de AWS Lake Formation además de los permisos de IAM para controlar el acceso a Tablas de S3 a través del Catálogo de datos. En este modo, las entidades principales requieren permisos de IAM para interactuar con el Catálogo de datos, y las concesiones de AWS Lake Formation determinan a qué recursos del catálogo (bases de datos, tablas, columnas, filas) puede acceder la entidad principal. Este modo admite tanto el control de acceso amplio (concesiones a nivel de base de datos y tabla) como el control de acceso detallado (seguridad a nivel de columna y fila). Cuando existe un rol registrado configurado y la entrega de credenciales está habilitada, no son necesarios permisos de IAM de Tablas de S3 para la entidad principal, dado que AWS Lake Formation emite credenciales en su nombre mediante dicho rol. Asimismo, el control de acceso de AWS Lake Formation admite la entrega de credenciales para motores de análisis de terceros. Para obtener más información, consulte Creación de un catálogo de Tablas de S3 en la Guía para desarrolladores de AWS Lake Formation.

Puede cambiar entre modos de control de acceso a medida que evolucionan sus requisitos.

Jerarquía de catálogos para el montaje automático

Cuando integra Tablas de S3 con el Catálogo de datos mediante la consola de administración de Amazon S3, la consola crea un catálogo federado llamado s3tablescatalog en el Catálogo de datos de la cuenta en esa región de AWS. Este catálogo federado actúa como catálogo principal de todos los buckets de tablas de S3 existentes y futuros en esa cuenta y región. La integración asigna los recursos de buckets de tablas de Amazon S3 según la siguiente jerarquía:

  • Catálogo federado: s3tablescatalog (se crea automáticamente)

  • Catálogos secundarios: cada bucket de tablas de S3 se convierte en un catálogo secundario bajo s3tablescatalog

  • Bases de datos: cada espacio de nombres de S3 dentro de un bucket de tablas se convierte en una base de datos

  • Tablas: cada tabla de S3 dentro de un espacio de nombres se convierte en una tabla

Por ejemplo, si tiene un bucket de tablas S3 llamado “analytics-bucket” con un espacio de nombres “sales” que contiene una tabla “transactions”, la ruta completa en el Catálogo de datos sería: s3tablescatalog/analytics-bucket/sales/transactions

Esta jerarquía de cuatro niveles se aplica a escenarios en la misma cuenta, donde Tablas de S3 y el Catálogo de datos se encuentran en la misma cuenta de AWS. En escenarios entre cuentas, debe montar manualmente los buckets de tablas de S3 individuales en el Catálogo de datos, lo que crea una jerarquía de tres niveles.

Regiones admitidas

La integración de Tablas de S3 con el Catálogo de datos está disponible en las siguientes regiones de AWS:

Código de región Nombre de la región
us-east-1Este de EE. UU. (Norte de Virginia)
us-east-2Este de EE. UU. (Ohio)
us-west-1Oeste de EE. UU. (Norte de California)
us-west-2Oeste de EE. UU. (Oregón)
af-south-1África (Ciudad del Cabo)
ap-east-1Asia-Pacífico (Hong Kong)
ap-east-2Asia-Pacífico (Taipéi)
ap-northeast-1Asia-Pacífico (Tokio)
ap-northeast-2Asia-Pacífico (Seúl)
ap-northeast-3Asia-Pacífico (Osaka)
ap-south-1Asia-Pacífico (Mumbai)
ap-south-2Asia-Pacífico (Hyderabad)
ap-southeast-1Asia-Pacífico (Singapur)
ap-southeast-2Asia-Pacífico (Sídney)
ap-southeast-3Asia-Pacífico (Yakarta)
ap-southeast-4Asia-Pacífico (Melbourne)
ap-southeast-5Asia-Pacífico (Malasia)
ap-southeast-6Asia-Pacífico (Nueva Zelanda)
ap-southeast-7Asia-Pacífico (Tailandia)
ca-central-1Canadá (centro)
ca-west-1Oeste de Canadá (Calgary)
eu-central-1Europa (Fráncfort)
eu-central-2Europa (Zúrich)
eu-north-1Europa (Estocolmo)
eu-south-1Europa (Milán)
eu-south-2Europa (España)
eu-west-1Europa (Irlanda)
eu-west-2Europa (Londres)
eu-west-3Europa (París)
il-central-1Israel (Tel Aviv)
mx-central-1México (centro)
sa-east-1América del Sur (São Paulo)