View a markdown version of this page

Registrar sua conexão como um Glue Data Catalog - Amazon Athena
Pré-requisitosRegistrar sua conexão usando o console

Registrar sua conexão como um Glue Data Catalog

nota

Os conectores federados do AWS Glue Data Catalog sem o Lambda já estão registrados como um Catálogo de dados do Glue e funcionam com controle de acesso refinado e, portanto, esta seção pode ser ignorada. Consulte Suporte ao tipo de conector por fonte de dados para obter uma lista de conectores.

Após criar sua fonte de dados, você poderá usar o console do Athena para registrar sua conexão como um Glue Data Catalog. Após o registro, você poderá gerenciar seu catálogo de dados federados e habilitar um controle de acesso refinado usando o Lake Formation. Para obter mais informações, consulte Creating a federated catalog.

É possível registrar os seguintes conectores para integração com o AWS Glue a fim de oferecer um controle de acesso refinado.

  • AWS CMDB

  • Timestream

  • Azure Data Lake Storage

  • Azure Synapse

  • IBM Db2

  • IBM Db2 AS/400 (Db2 iSeries)

  • Google Cloud Storage

  • HBase

  • TPC-DS

  • Cloudera Hive

  • CloudWatch

  • Cloudwatch Metrics

  • Vertica

  • BigQuery

  • DocumentDB

  • DynamoDB

  • MySQL

  • OpenSearch

  • Oracle

  • PostgreSQL

  • Redshift

  • SAP HANA

  • Snowflake

  • SQL Server

  • Teradata

Pré-requisitos

Antes de começar, conclua os pré-requisitos a seguir.

  • Certifique-se de que você tenha os perfis e as permissões necessários para registrar locais. Para obter mais informações, consulte Requisitos para funções usadas para registrar locais no Guia do desenvolvedor do AWS Lake Formation.

  • Certifique-se de que você tenha os perfis necessários para o Lake Formation. Para obter mais informações, consulte Prerequisites for connecting the Data Catalog to external data sources no Guia do desenvolvedor do AWS Lake Formation.

  • O perfil que você registrar no Glue deverá ter as permissões listadas no exemplo a seguir.

    JSON
    {
    "Version":"2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetObject"
            ],
            "Resource": [
    "arn:aws:s3:::amzn-s3-demo-bucket/spill-prefix/*",
    "arn:aws:s3:::amzn-s3-demo-bucket/spill-prefix"
            ]
        },
        {
            "Sid": "lambdainvoke",
            "Effect": "Allow",
            "Action": "lambda:InvokeFunction",
            "Resource": "arn:aws:lambda:us-east-1:111122223333:function:lambda_function_name"
        },
        {
            "Sid": "gluepolicy",
            "Effect": "Allow",
            "Action": "glue:*",
            "Resource": [
            "arn:aws:glue:us-east-1:111122223333:connection/<connection_name>",
    "arn:aws:glue:us-east-1:111122223333:catalog"
            ]
        }
    ]
}

  • Você é responsável por determinar e gerenciar o acesso adequado aos dados. Com controles de acesso refinados em consultas federadas, é recomendável usar a política gerenciada AmazonAthenaFullAccess. Se quiser usar sua própria política, você deverá garantir que os usuários que executam consultas federadas não tenham acesso aos seguintes recursos.

    • lambda:InvokeFunction no conector Lambda especificado na conexão do Glue

    • Acesso à localização do bucket de derramamento no IAM

    • Acesso à conexão do Glue associada ao seu catálogo federado

    • Perfil do Lake Formation no IAM

Registrar sua conexão usando o console

Para registrar sua conexão como um Glue Data Catalog

  1. Abra o console do Athena em https://console.aws.amazon.com/athena/.

  2. No painel de navegação, escolha Fontes de dados e catálogos.

  3. Na lista Fontes de dados, escolha a fonte de dados que você criou para abrir a página Detalhes da fonte de dados.

  4. Escolha Comece a usar o AWS Lake Formation.

    nota

    Após escolher essa opção, você deverá gerenciar sua função do Lambda por conta própria. O Athena não excluirá sua função do Lambda.

  5. Em Nome do catálogo de dados, forneça um nome exclusivo para seu catálogo.

  6. Escolha o Perfil do IAM do Lake Formation que concede permissão ao Lake Formation para invocar a função do Lambda. Certifique-se de que seu perfil tenha as permissões deste exemplo.

  7. Na caixa de texto, digite confirmar para excluir a fonte de dados do Athena e substituí-la por um registro do catálogo de dados do Glue.

    nota

    Essa ação excluirá sua fonte de dados do Athena e criará um novo Glue Data Catalog em seu lugar. Após a conclusão desse processo, talvez seja necessário atualizar as consultas que acessam a fonte de dados para fazer referência ao catálogo de dados do Glue recém-criado.

  8. Escolha Criar catálogo e acessar o Lake Formation. Isso vai abrir o console do Lake Formation, onde você poderá gerenciar o catálogo e conceder permissões aos usuários em catálogos, bancos de dados e tabelas.