# Amazon Athena Azure Data Lake Storage（ADLS）Gen2 连接器
<a name="connectors-adls-gen2"></a>

适用于 [Azure Data Lake Storage（ADLS）Gen2](https://docs.microsoft.com/en-us/azure/databricks/data/data-sources/azure/adls-gen2/) 的 Amazon Athena 连接器使 Amazon Athena 能够对存储在 ADLS 上的数据运行 SQL 查询。Athena 无法直接访问数据湖中存储的文件。

此连接器可以作为联合目录注册到 Glue Data Catalog。此连接器支持 Lake Formation 中在目录、数据库、行和标签级别定义的数据访问控制。此连接器使用 Glue 连接将配置属性集中保存到 Glue 中。
+ **工作流程** - 连接器实施 JDBC 接口，以使用 `com.microsoft.sqlserver.jdbc.SQLServerDriver` 驱动程序。连接器将查询传递给 Azure Synapse 引擎，以访问数据湖。
+ **数据处理和 S3** - 通常，Lambda 连接器直接查询数据，无需传输到 Amazon S3。但是，如果 Lambda 函数返回的数据超过 Lambda 限值，该数据将写入指定 Amazon S3 溢出存储桶，这样 Athena 就可以读取多余的数据。
+ **AAD 身份验证** - AAD 可用作 Azure Synapse 连接器的身份验证方法。要使用 AAD，连接器使用的 JDBC 连接字符串必须包含 URL 参数 `authentication=ActiveDirectoryServicePrincipal`、`AADSecurePrincipalId` 和 `AADSecurePrincipalSecret`。这些参数可以直接传入，也可以通过 Secrets Manager 传入。

## 先决条件
<a name="connectors-datalakegentwo-prerequisites"></a>
+ 可以使用 Athena 控制台或 AWS Serverless Application Repository 将该连接器部署到您的 AWS 账户。有关更多信息，请参阅 [创建数据来源连接](connect-to-a-data-source.md) 或 [使用 AWS Serverless Application Repository 部署数据来源连接器](connect-data-source-serverless-app-repo.md)。

## 限制
<a name="connectors-adls-gen2-limitations"></a>
+ 不支持写入 DDL 操作。
+ 在多路复用器设置中，溢出桶和前缀在所有数据库实例之间共享。
+ 任何相关的 Lambda 限制。有关更多信息，请参阅《*AWS Lambda 开发人员指南*》中的 [Lambda 配额](https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html)。
+ 必须将筛选条件中的日期和时间戳数据类型转换为适当的数据类型。

## 术语
<a name="connectors-adls-gen2-terms"></a>

以下术语与 Azure Data Lake Storage Gen2 连接器有关。
+ **数据库实例** — 部署在本地、Amazon EC2 或 Amazon RDS 上的任何数据库实例。
+ **处理程序** — 访问您数据库实例的 Lambda 处理程序。处理程序可以用于元数据或数据记录。
+ **元数据处理程序** — 从您的数据库实例中检索元数据的 Lambda 处理程序。
+ **记录处理程序** — 从您的数据库实例中检索数据记录的 Lambda 处理程序。
+ **复合处理程序** — 从您的数据库实例中检索元数据和数据记录的 Lambda 处理程序。
+ **属性或参数** — 处理程序用来提取数据库信息的数据库属性。您可以将这些属性配置为 Lambda 环境变量。
+ **连接字符串** — 用于建立数据库实例连接的文本字符串。
+ **目录** — 向 Athena 注册的非 AWS Glue 目录，是 `connection_string` 属性的必要前缀。
+ **多路复用处理程序** — 可以接受和使用多个数据库连接的 Lambda 处理程序。

## 参数
<a name="connectors-adls-gen2-parameters"></a>

使用本节中的参数来配置 Azure Data Lake Storage Gen2 连接器。

**注意**  
2024 年 12 月 3 日及之后创建的 Athena 数据来源连接器使用 AWS Glue 连接。  
下面列出的参数名称和定义适用于在 2024 年 12 月 3 日之前创建的 Athena 数据来源连接器，可能与相应的 [AWS Glue 连接属性](https://docs.aws.amazon.com/glue/latest/dg/connection-properties.html)不同。从 2024 年 12 月 3 日起，仅在[手动部署](connect-data-source-serverless-app-repo.md)早期版本的 Athena 数据来源连接器时才使用以下参数。

### Glue 连接（推荐）
<a name="adls-gen2-gc"></a>

我们建议您使用 Glue 连接对象来配置 Azure Data Lake Storage Gen2 连接器。要执行此操作，请将 Azure Data Lake Storage Gen2 连接器 Lambda 的 `glue_connection` 环境变量设置为要使用的 Glue 连接的名称。

**Glue 连接属性**

使用以下命令来获取 Glue 连接对象的架构。此架构包含可用于控制连接的所有参数。

```
aws glue describe-connection-type --connection-type DATALAKEGEN2
```

**Lambda 环境属性**
+ **glue\$1connection** – 指定与联合连接器关联的 Glue 连接的名称。
+ **大小写模式** –（可选）指定如何处理架构和表名的大小写。`casing_mode` 参数使用以下值来指定大小写行为：
  + **无** – 不更改给定架构和表名的大小写。对于关联了 Glue 连接的连接器，这是默认设置。
  + **大写** – 所有给定的架构和表名全部大写。
  + **小写** – 所有给定的架构和表名全部小写。

**注意**  
所有使用 Glue 连接的连接器都必须使用 AWS Secrets Manager 来存储凭证。
使用 Glue 连接创建的 Azure Data Lake Storage Gen2 连接器不支持使用多路复用处理程序。
使用 Glue 连接创建的 Azure Data Lake Storage Gen2 连接器仅支持 `ConnectionSchemaVersion` 2。

### 旧连接
<a name="adls-gen2-legacy"></a>

#### 连接字符串
<a name="connectors-adls-gen2-connection-string"></a>

使用以下格式的 JDBC 连接字符串连接到数据库实例。

```
datalakegentwo://${jdbc_connection_string}
```

#### 使用多路复用处理程序
<a name="connectors-adls-gen2-using-a-multiplexing-handler"></a>

您可以使用多路复用器通过单个 Lambda 函数连接到多个数据库实例。按目录名称来路由请求。在 Lambda 中使用以下类。


****  

| 处理程序 | 类 | 
| --- | --- | 
| 复合处理程序 | DataLakeGen2MuxCompositeHandler | 
| 元数据处理程序 | DataLakeGen2MuxMetadataHandler | 
| 记录处理程序 | DataLakeGen2MuxRecordHandler | 

##### 多路复用处理程序参数
<a name="connectors-adls-gen2-multiplexing-handler-parameters"></a>


****  

| 参数 | 说明 | 
| --- | --- | 
| \$1catalog\$1connection\$1string | 必需。数据库实例连接字符串。将 Athena 中使用的目录的名称作为环境变量前缀。例如，如果向 Athena 注册的目录是 mydatalakegentwocatalog，则环境变量名称是 mydatalakegentwocatalog\$1connection\$1string。 | 
| default | 必需。默认连接字符串。目录为 lambda:\$1\$1AWS\$1LAMBDA\$1FUNCTION\$1NAME\$1 时使用此字符串。 | 

以下示例属性适用于支持两个数据库实例的 DataLakeGen2 MUX Lambda 函数：`datalakegentwo1`（默认）和 `datalakegentwo2`。


****  

| 属性 | 值 | 
| --- | --- | 
| default | datalakegentwo://jdbc:sqlserver://adlsgentwo1.hostname:port;databaseName=database\$1name;\$1\$1secret1\$1name\$1 | 
| datalakegentwo\$1catalog1\$1connection\$1string | datalakegentwo://jdbc:sqlserver://adlsgentwo1.hostname:port;databaseName=database\$1name;\$1\$1secret1\$1name\$1 | 
| datalakegentwo\$1catalog2\$1connection\$1string | datalakegentwo://jdbc:sqlserver://adlsgentwo2.hostname:port;databaseName=database\$1name;\$1\$1secret2\$1name\$1 | 

##### 提供凭证
<a name="connectors-adls-gen2-providing-credentials"></a>

要在 JDBC 连接字符串中为数据库提供用户名和密码，可以使用连接字符串属性或 AWS Secrets Manager。
+ **连接字符串** — 可以将用户名和密码指定为 JDBC 连接字符串中的属性。
**重要**  
作为安全最佳实践，请勿在环境变量或连接字符串中使用硬编码凭证。有关将硬编码密钥移至 AWS Secrets Manager 的信息，请参阅《*AWS Secrets Manager 用户指南*》中的[将硬编码密钥移至 AWS Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/hardcoded.html)。
+ **AWS Secrets Manager** - 要将 Athena 联合查询功能与 AWS Secrets Manager 配合使用，连接到您的 Lambda 函数的 VPC 应该拥有[互联网访问权限](https://aws.amazon.com/premiumsupport/knowledge-center/internet-access-lambda-function/)或者 [VPC 端点](https://docs.aws.amazon.com/secretsmanager/latest/userguide/vpc-endpoint-overview.html)，以连接到 Secrets Manager。

  您可以将 AWS Secrets Manager 中的密钥名称放入您的 JDBC 连接字符串中。连接器将该密钥名称替换为来自 Secrets Manager 的 `username` 和 `password` 值。

  对于 Amazon RDS 数据库实例，将紧密集成这种支持。如果您使用 Amazon RDS，我们强烈建议您使用 AWS Secrets Manager 和凭证轮换。如果您的数据库不使用 Amazon RDS，请按以下格式将凭证存储为 JSON：

  ```
  {"username": "${username}", "password": "${password}"}
  ```

**带有密钥名称的示例连接字符串**  
以下字符串带有密钥名称 `${secret1_name}`。

```
datalakegentwo://jdbc:sqlserver://hostname:port;databaseName=database_name;${secret1_name}
```

该连接器使用该密钥名称来检索密钥，并提供用户名和密码，如以下示例所示。

```
datalakegentwo://jdbc:sqlserver://hostname:port;databaseName=database_name;user=user_name;password=password
```

#### 使用单个连接处理程序
<a name="connectors-adls-gen2-using-a-single-connection-handler"></a>

您可以使用以下单一连接元数据和记录处理程序连接到单一 Azure Data Lake Storage Gen2 实例。


****  

| 处理程序类型 | 类 | 
| --- | --- | 
| 复合处理程序 | DataLakeGen2CompositeHandler | 
| 元数据处理程序 | DataLakeGen2MetadataHandler | 
| 记录处理程序 | DataLakeGen2RecordHandler | 

##### 单个连接处理程序参数
<a name="connectors-adls-gen2-single-connection-handler-parameters"></a>


****  

| 参数 | 说明 | 
| --- | --- | 
| default | 必需。默认连接字符串。 | 

单个连接处理程序支持一个数据库实例，并且必须提供 `default` 连接字符串参数。将忽略所有其他连接字符串。

以下示例属性适用于 Lambda 函数支持的单一 Azure Data Lake Storage Gen2 实例。


****  

| 属性 | 值 | 
| --- | --- | 
| default | datalakegentwo://jdbc:sqlserver://hostname:port;databaseName=;\$1\$1secret\$1name\$1 | 

#### 溢出参数
<a name="connectors-adls-gen2-spill-parameters"></a>

Lambda 开发工具包可以将数据溢出到 Amazon S3。由同一 Lambda 函数访问的所有数据库实例都会溢出到同一位置。


****  

| 参数 | 说明 | 
| --- | --- | 
| spill\$1bucket | 必需。溢出桶名称。 | 
| spill\$1prefix | 必需。溢出桶密钥前缀。 | 
| spill\$1put\$1request\$1headers | （可选）用于溢出的 Amazon S3 putObject 请求的请求标头和值的 JSON 编码映射（例如，\$1"x-amz-server-side-encryption" : "AES256"\$1)。有关其他可能的标头，请参阅《Amazon Simple Storage Service API 参考》中的 [PutObject](https://docs.aws.amazon.com/AmazonS3/latest/API/API_PutObject.html)。 | 

## 数据类型支持
<a name="connectors-adls-gen2-data-type-support"></a>

下表显示了适用于 ADLS Gen2 和 Arrow 的相应数据类型。


****  

| ADLS Gen2 | Arrow | 
| --- | --- | 
| bit | TINYINT | 
| tinyint | SMALLINT | 
| smallint | SMALLINT | 
| int | INT | 
| bigint | BIGINT | 
| decimal | DECIMAL | 
| numeric | FLOAT8 | 
| smallmoney | FLOAT8 | 
| money | DECIMAL | 
| float[24] | FLOAT4 | 
| float[53] | FLOAT8 | 
| real | FLOAT4 | 
| datetime | Date(MILLISECOND) | 
| datetime2 | Date(MILLISECOND) | 
| smalldatetime | Date(MILLISECOND) | 
| date | Date(DAY) | 
| 时间 | VARCHAR | 
| datetimeoffset | Date(MILLISECOND) | 
| char[n] | VARCHAR | 
| varchar[n/max] | VARCHAR | 

## 分区和拆分
<a name="connectors-adls-gen2-partitions-and-splits"></a>

Azure Data Lake Storage Gen2 使用与 Hadoop 兼容的 Gen2 Blob 存储来存储数据文件。这些文件中的数据将从 Azure Synapse 引擎查询。Azure Synapse 引擎将存储在文件系统中的 Gen2 数据视为外部表。根据数据类型实施分区。如果已在 Gen2 存储系统中对数据进行了分区和分发，则该连接器将以单个拆分的形式检索数据。

## 性能
<a name="connectors-adls-gen2-performance"></a>

当同时运行多个查询时，Azure Data Lake Storage Gen2 连接器的查询性能会变慢，并且会受到节流。

Azure Data Lake Storage Gen2 连接器可执行谓词下推，以减少查询扫描的数据量。简单谓词和复杂表达式将下推到连接器，以减少扫描的数据量并缩短查询执行的运行时间。

### Predicates
<a name="connectors-datalakegentwo-performance-predicates"></a>

谓词是 SQL 查询的 `WHERE` 子句中的表达式，其评估结果为布尔值并根据多个条件筛选行。Athena Azure Data Lake Storage Gen2 连接器可以组合这些表达式并将其直接推送到 Azure Data Lake Storage Gen2，以增强功能并减少扫描的数据量。

以下 Athena Azure Data Lake Storage Gen2 连接器运算符支持谓词下推：
+ **布尔值：**AND、OR、NOT
+ **相等：**EQUAL、NOT\$1EQUAL、LESS\$1THAN、LESS\$1THAN\$1OR\$1EQUAL、GREATER\$1THAN、GREATER\$1THAN\$1OR\$1EQUAL、NULL\$1IF、IS\$1NULL
+ **算术：**ADD、SUBTRACT、MULTIPLY、DIVIDE、MODULUS、NEGATE
+ **其他：**LIKE\$1PATTERN、IN

### 组合下推示例
<a name="connectors-datalakegentwo-performance-pushdown-example"></a>

要增强查询功能，组合下推类型，如以下示例所示：

```
SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d)) 
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%');
```

## 传递查询
<a name="connectors-datalakegentwo-passthrough-queries"></a>

Azure Data Lake Storage Gen2 连接器支持[传递查询](federated-query-passthrough.md)。传递查询使用表函数将完整查询下推到数据来源来执行查询。

要在 Azure Data Lake Storage Gen2 中执行传递查询，可以使用以下语法：

```
SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))
```

以下示例查询将查询下推到 Azure Data Lake Storage Gen2 中的数据来源。该查询选择了 `customer` 表中的所有列，将结果限制为 10。

```
SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))
```

## 许可证信息
<a name="connectors-datalakegentwo-license-information"></a>

使用此连接器，即表示您确认包含第三方组件（这些组件的列表可在此连接器的 [pom.xml](https://github.com/awslabs/aws-athena-query-federation/blob/master/athena-datalakegen2/pom.xml) 文件中找到），并同意 GitHub.com 上的 [LICENSE.txt](https://github.com/awslabs/aws-athena-query-federation/blob/master/athena-datalakegen2/LICENSE.txt) 文件中提供的相应第三方许可证中的条款。

## 其他资源
<a name="connectors-datalakegentwo-additional-resources"></a>

有关最新 JDBC 驱动程序版本信息，请参阅 GitHub.com 上适用于 Azure Data Lake Storage Gen2 连接器的 [pom.xml](https://github.com/awslabs/aws-athena-query-federation/blob/master/athena-datalakegen2/pom.xml) 文件。

有关此连接器的更多信息，请访问 GitHub.com 上的[相应站点](https://github.com/awslabs/aws-athena-query-federation/tree/master/athena-datalakegen2)。