# Conector do Amazon Athena para o MySQL O conector MySQL do Lambda no Amazon Athena permite que o Amazon Athena acesse bancos de dados MySQL. Esse conector pode ser registrado como um catálogo federado no Glue Data Catalog. Ele é compatível com controles de acesso a dados definidos no Lake Formation nos níveis de catálogo, banco de dados, tabela, coluna, linha e tag. Esse conector usa o Glue Connections para centralizar as propriedades de configuração no Glue. ## Pré-requisitos + Implante o conector na sua Conta da AWS usando o console do Athena ou o AWS Serverless Application Repository. Para ter mais informações, consulte [Criar uma conexão de fonte de dados](connect-to-a-data-source.md) ou [Usar o AWS Serverless Application Repository para implantar um conector de fonte de dados](connect-data-source-serverless-app-repo.md). + Configura uma VPC e um grupo de segurança antes de usar esse conector. Para obter mais informações, consulte [Criar uma VPC para um conector de fonte de dados ou conexão do AWS Glue](athena-connectors-vpc-creation.md). ## Limitações + Não há suporte para operações de gravação de DDL. + Em uma configuração de multiplexador, o prefixo e o bucket de derramamento são compartilhados em todas as instâncias do banco de dados. + Quaisquer limites relevantes do Lambda. Para obter mais informações, consulte [Cotas do Lambda](https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html) no *Guia do desenvolvedor do AWS Lambda*. + Como o Athena converte as consultas em minúsculas, os nomes das tabelas do MySQL devem estar em minúsculas. Por exemplo, consultas do Athena em uma tabela chamada `myTable` falharão. + Se você migrar suas conexões do MySQL para o Glue Catalog e o Lake Formation, somente os nomes das tabelas e colunas em minúsculas serão reconhecidos. ## Termos Os termos a seguir estão relacionados ao conector MySQL. + **Instância do banco de dados**: qualquer instância de um banco de dados implantado on-premises, no Amazon EC2 ou no Amazon RDS. + **Manipulador**: um manipulador Lambda que acessa sua instância de banco de dados. Um manipulador pode ser para metadados ou para registros de dados. + **Manipulador de metadados**: um manipulador Lambda que recupera metadados da sua instância de banco de dados. + **Manipulador de registros**: um manipulador Lambda que recupera registros de dados da sua instância de banco de dados. + **Manipulador composto**: um manipulador Lambda que recupera tanto metadados quanto registros de dados da sua instância de banco de dados. + **Propriedade ou parâmetro**: uma propriedade do banco de dados usada pelos manipuladores para extrair informações do banco de dados. Você configura essas propriedades como variáveis de ambiente do Lambda. + **String de conexão**: uma string de texto usada para estabelecer uma conexão com uma instância de banco de dados. + **Catálogo**: um catálogo não AWS Glue registrado no Athena que é um prefixo obrigatório para a propriedade `connection_string`. + **Manipulador de multiplexação**: um manipulador Lambda que pode aceitar e usar várias conexões de banco de dados. ## Parâmetros Use os parâmetros nesta seção para configurar o conector do MySQL. **nota** Os conectores de fonte de dados do Athena criados a partir de 3 de dezembro de 2024 usam conexões do AWS Glue. ### Conectores federados do AWS Glue Data Catalog Recomendamos que você configure um conector do MySQL usando um objeto de conexão do Glue. Para fazer isso, defina a variável de ambiente `glue_connection` da função do Lambda para o conector do MySQL com o nome da conexão do Glue que deseja usar. Use o comando apresentado a seguir para obter o esquema de um objeto de conexão do Glue. Esse esquema contém todos os parâmetros que você pode usar para controlar a conexão. ``` aws glue describe-connection-type --connection-type MYSQL ``` **Propriedades do ambiente do Lambda** As propriedades do ambiente do Lambda a seguir se aplicam somente quando você usa o conector com uma função do Lambda em sua conta. **glue\_connection**: especifica o nome da conexão do Glue associada ao conector federado. **nota** Todos os conectores que usam a conexão federada do AWS Glue Data Catalog devem usar o AWS Secrets Manager para armazenar as credenciais. O conector para MySQL criado por meio de uma conexão federada do AWS Glue Data Catalog não é compatível com o uso de um manipulador de multiplexação. O conector para MySQL criado por meio de uma conexão federada do AWS Glue Data Catalog é compatível apenas com `ConnectionSchemaVersion` 2. ### Conectores federados do catálogo de dados do Athena Os nomes dos parâmetros e suas definições listados abaixo referem-se a conectores de fonte de dados do Athena criados sem uma conexão do Glue associada. Os parâmetros apresentados abaixo devem ser usados somente quando você [implantar manualmente](connect-data-source-serverless-app-repo.md) uma versão anterior de um conector de fonte de dados do Athena ou quando a propriedade de ambiente `glue_connection` não for especificada. #### String de conexão Use uma string de conexão JDBC no seguinte formato para se conectar a uma instância de banco de dados. ``` mysql://${{{jdbc_connection_string}}} ``` **nota** Se você receber o erro java.sql.SQLException: Zero date value prohibited (Valor de data zero proibido) ao fazer uma consulta `SELECT` em uma tabela do MySQL, adicione o seguinte parâmetro à sua string de conexão: ``` zeroDateTimeBehavior=convertToNull ``` Para obter mais informações, consulte: [Erro 'Valor de data zero proibido' ao tentar selecionar em tabela do MySQL](https://github.com/awslabs/aws-athena-query-federation/issues/760) em GitHub.com. #### Uso de um manipulador de multiplexação É possível usar um multiplexador para se conectar a várias instâncias de banco de dados com uma única função do Lambda. As solicitações são encaminhadas por nome do catálogo. Use as seguintes classes no Lambda. **** | Manipulador | Classe | | --- | --- | | Manipulador composto | MySqlMuxCompositeHandler | | Manipulador de metadados | MySqlMuxMetadataHandler | | Manipulador de registros | MySqlMuxRecordHandler | ##### Parâmetros do manipulador de multiplexação **** | Parâmetro | Descrição | | --- | --- | | ${{catalog}}\_connection\_string | Obrigatório. Uma string de conexão de instância de banco de dados. Prefixe a variável de ambiente com o nome do catálogo usado no Athena. Por exemplo, se o catálogo registrado no Athena for mymysqlcatalog, então o nome da variável de ambiente será mymysqlcatalog\_connection\_string. | | default | Obrigatório. A string de conexão padrão. Essa string é usada quando o catálogo for lambda:${{{AWS\_LAMBDA\_FUNCTION\_NAME}}}. | As propriedades de exemplo a seguir são para uma função do Lambda MUX do MySql que ofereça suporte a duas instâncias de banco de dados: `mysql1` (o padrão) e `mysql2`. **** | Propriedade | Valor | | --- | --- | | default | mysql://jdbc:mysql://mysql2.host:3333/default?user=sample2&password=sample2 | | mysql\_catalog1\_connection\_string | mysql://jdbc:mysql://mysql1.host:3306/default?${Test/RDS/MySql1} | | mysql\_catalog2\_connection\_string | mysql://jdbc:mysql://mysql2.host:3333/default?user=sample2&password=sample2 | ##### Fornecimento de credenciais Para fornecer um nome de usuário e uma senha para seu banco de dados na string de conexão JDBC, é possível usar as propriedades da string de conexão ou o AWS Secrets Manager. + **String de conexão**: um nome de usuário e uma senha podem ser especificados como propriedades na string de conexão do JDBC. **Importante** Como prática recomendada de segurança, não use credenciais com codificação rígida em suas variáveis de ambiente ou strings de conexão. Para obter informações sobre como mover seus segredos codificados para o AWS Secrets Manager, consulte [Mover segredos codificados para o AWS Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/hardcoded.html) no *Guia do usuário do AWS Secrets Manager*. + **AWS Secrets Manager**: para usar o recurso Athena Federated Query com o AWS Secrets Manager, a VPC conectada à sua função do Lambda deve ter [acesso à Internet](https://aws.amazon.com/premiumsupport/knowledge-center/internet-access-lambda-function/) ou um [endpoint da VPC](https://docs.aws.amazon.com/secretsmanager/latest/userguide/vpc-endpoint-overview.html) para se conectar ao Secrets Manager. É possível colocar o nome de um segredo no AWS Secrets Manager na sua string de conexão JDBC. O conector substitui o nome secreto pelos valores de `username` e `password` do Secrets Manager. Para instâncias de banco de dados do Amazon RDS, esse suporte é totalmente integrado. Se você usa o Amazon RDS, é altamente recomendável usar o AWS Secrets Manager e rotação de credenciais. Se seu banco de dados não usar o Amazon RDS, armazene as credenciais em JSON no seguinte formato: ``` {"username": "${username}", "password": "${password}"} ``` **Exemplo de string de conexão com nome secreto** A string a seguir tem o nome secreto `${Test/RDS/MySql1}`. ``` mysql://jdbc:mysql://mysql1.host:3306/default?...&${Test/RDS/MySql1}&... ``` O conector usa o nome secreto para recuperar segredos e fornecer o nome de usuário e a senha, como no exemplo a seguir. ``` mysql://jdbc:mysql://mysql1host:3306/default?...&user=sample2&password=sample2&... ``` Atualmente, o conector MySQL reconhece as propriedades `user` e `password` do JDBC. #### Uso de um único manipulador de conexão É possível usar os seguintes metadados de conexão única e manipuladores de registros para se conectar a uma única instância do MySQL. **** | Tipo de manipulador | Classe | | --- | --- | | Manipulador composto | MySqlCompositeHandler | | Manipulador de metadados | MySqlMetadataHandler | | Manipulador de registros | MySqlRecordHandler | ##### Parâmetros do manipulador de conexão única **** | Parâmetro | Descrição | | --- | --- | | default | Obrigatório. A string de conexão padrão. | Os manipuladores de conexão únicos oferecem suporte a uma instância de banco de dados e devem fornecer um parâmetro de string de conexão `default`. Todas as outras strings de conexão são ignoradas. O exemplo de propriedade a seguir é para uma única instância do MySQL com suporte em uma função do Lambda. **** | Propriedade | Valor | | --- | --- | | default | mysql://mysql1.host:3306/default?secret=Test/RDS/MySQL1 | #### Parâmetros de derramamento O SDK do Lambda pode derramar dados no Amazon S3. Todas as instâncias do banco de dados acessadas pela mesma função do Lambda derramam no mesmo local. **** | Parâmetro | Descrição | | --- | --- | | spill\_bucket | Obrigatório. Nome do bucket de derramamento. | | spill\_prefix | Obrigatório. Prefixo de chave do bucket de derramamento. | | spill\_put\_request\_headers | (Opcional) Um mapa codificado em JSON de cabeçalhos e valores de solicitações para a solicitação putObject do Amazon S3 usada para o derramamento (por exemplo, {"x-amz-server-side-encryption" : "AES256"}). Para outros cabeçalhos possíveis, consulte [PutObject](https://docs.aws.amazon.com/AmazonS3/latest/API/API_PutObject.html) na Referência da API do Amazon Simple Storage Service. | ## Suporte ao tipo de dados A tabela a seguir mostra os correspondentes tipos de dados do JDBC e do Arrow. **** | JDBC | Arrow | | --- | --- | | Booleano | Bit | | Inteiro | Tiny | | Short | Smallint | | Inteiro | Int | | Longo | Bigint | | flutuação | Float4 | | Duplo | Float8 | | Data | Data/Dia | | Timestamp | Date Milli | | String | Varchar | | Bytes | Varbinary | | BigDecimal | Decimal | | ARRAY | Lista | ## Partições e divisões As partições são usadas para determinar como gerar divisões para o conector. O Athena constrói uma coluna sintética do tipo `varchar` que representa o esquema de particionamento da tabela para ajudar o conector a gerar divisões. O conector não modifica a definição real da tabela. ## desempenho O MySQL oferece suporte a partições nativas. O conector do Athena para o Lambda pode recuperar dados dessas partições em paralelo. Se você quiser consultar conjuntos de dados muito grandes com distribuição uniforme de partições, o particionamento nativo é altamente recomendado. O conector do Athena para o MySQL executa a passagem direta de predicados para diminuir os dados examinados pela consulta. Cláusulas `LIMIT`, predicados simples e expressões complexas são passados diretamente ao conector para reduzir a quantidade de dados examinados e o runtime de execução da consulta. ### Cláusulas LIMIT Uma instrução `LIMIT N` reduz os dados examinados pela consulta. Com a passagem direta de `LIMIT N`, o conector só retorna `N` linhas para o Athena. ### Predicados Um predicado é uma expressão na cláusula `WHERE` de uma consulta SQL, que avalia para um valor booleano e filtra as linhas com base em várias condições. O conector do Athena para o MySQL pode combinar essas expressões e passá-las diretamente ao MySQL para melhorar a funcionalidade e reduzir a quantidade de dados examinados. Os seguintes operadores do conector do Athena para o MySQL são compatíveis com a passagem direta de predicados: + **Booleanos:** E, OU, NÃO + **Igualdade: **EQUAL, NOT\_EQUAL, LESS\_THAN, LESS\_THAN\_OR\_EQUAL, GREATER\_THAN, GREATER\_THAN\_OR\_EQUAL, IS\_DISTINCT\_FROM, NULL\_IF, IS\_NULL + **Aritméticos:** ADICIONAR, SUBTRAIR, MULTIPLICAR, DIVIDIR, MÓDULO, NEGAR + **Outros:**LIKE\_PATTERN, IN ### Exemplo de passagem direta combinada Para ter recursos aprimorados de consulta, combine os tipos de passagem direta, como no seguinte exemplo: ``` SELECT * FROM my_table WHERE col_a > 10 AND ((col_a + col_b) > (col_c % col_d)) AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') LIMIT 10; ``` Para ver um artigo sobre como usar o pushdown de predicado para melhorar a performance em consultas federadas, incluindo MySQL, consulte [Melhorar as consultas federadas com o pushdown de predicados no Amazon Athena](https://aws.amazon.com/blogs/big-data/improve-federated-queries-with-predicate-pushdown-in-amazon-athena/) no *Blog de Big Data da AWS*. ## Consultas de passagem O conector MySQL é compatível com [consultas de passagem](federated-query-passthrough.md). As consultas de passagem usam uma função de tabela para enviar sua consulta completa para execução na fonte de dados. Para usar consultas de passagem com o MySQL, você pode empregar a seguinte sintaxe: ``` SELECT * FROM TABLE( system.query( query => '{{query string}}' )) ``` O exemplo de consulta a seguir envia uma consulta para uma fonte de dados no MySQL. A consulta seleciona todas as colunas na tabela `customer`, limitando os resultados a 10. ``` SELECT * FROM TABLE( system.query( query => 'SELECT * FROM customer LIMIT 10' )) ``` ## Informações de licença Ao usar esse conector, você reconhece a inclusão de componentes de terceiros, cuja lista pode ser encontrada no arquivo [pom.xml](https://github.com/awslabs/aws-athena-query-federation/blob/master/athena-mysql/pom.xml) desse conector, e concorda com os termos das respectivas licenças de terceiros fornecidas no arquivo [LICENSE.txt](https://github.com/awslabs/aws-athena-query-federation/blob/master/athena-mysql/LICENSE.txt) em GitHub.com. ## Recursos adicionais Para obter as informações mais recentes sobre a versão do driver JDBC, consulte o arquivo [pom.xml](https://github.com/awslabs/aws-athena-query-federation/blob/master/athena-mysql/pom.xml) do conector MySQL em GitHub.com. Para obter mais informações sobre esse conector, visite [o site correspondente](https://github.com/awslabs/aws-athena-query-federation/tree/master/athena-mysql) em GitHub.com.