# Amazon Athena Redshift 连接器 Amazon Athena Redshift 连接器使 Amazon Athena 能够访问您的 Amazon Redshift 和 Amazon Redshift Serverless 数据库，包括 Redshift Serverless 视图。您可以使用本页所述的 JDBC 连接字符串配置设置连接到任一服务。 此连接器可以作为联合目录注册到 Glue Data Catalog。此连接器支持 Lake Formation 中在目录、数据库、行和标签级别定义的数据访问控制。此连接器使用 Glue 连接将配置属性集中保存到 Glue 中。 ## 先决条件 + 可以使用 Athena 控制台或 AWS Serverless Application Repository 将该连接器部署到您的 AWS 账户。有关更多信息，请参阅 [创建数据来源连接](connect-to-a-data-source.md) 或 [使用 AWS Serverless Application Repository 部署数据来源连接器](connect-data-source-serverless-app-repo.md)。 ## 限制 + 不支持写入 DDL 操作。 + 在多路复用器设置中，溢出桶和前缀在所有数据库实例之间共享。 + 任何相关的 Lambda 限制。有关更多信息，请参阅《*AWS Lambda 开发人员指南*》中的 [Lambda 配额](https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html)。 + 由于 Redshift 不支持外部分区，因此每次都会检索查询指定的所有数据。 + 与 Redshift 一样，出于长度和比较的目的，Athena 将 Redshift `CHAR` 类型中的尾随空格视为在语义上无关紧要。请注意，这仅适用于 `CHAR`，但不适用于 `VARCHAR` 类型。Athena 会忽略 `CHAR` 类型的尾随空格，但将其视为对 `VARCHAR` 类型很重要。 ## 术语 以下术语与 Redshift 连接器有关。 + **数据库实例** — 部署在本地、Amazon EC2 或 Amazon RDS 上的任何数据库实例。 + **处理程序** — 访问您数据库实例的 Lambda 处理程序。处理程序可以用于元数据或数据记录。 + **元数据处理程序** — 从您的数据库实例中检索元数据的 Lambda 处理程序。 + **记录处理程序** — 从您的数据库实例中检索数据记录的 Lambda 处理程序。 + **复合处理程序** — 从您的数据库实例中检索元数据和数据记录的 Lambda 处理程序。 + **属性或参数** — 处理程序用来提取数据库信息的数据库属性。您可以将这些属性配置为 Lambda 环境变量。 + **连接字符串** — 用于建立数据库实例连接的文本字符串。 + **目录** — 向 Athena 注册的非 AWS Glue 目录，是 `connection_string` 属性的必要前缀。 + **多路复用处理程序** — 可以接受和使用多个数据库连接的 Lambda 处理程序。 ## 参数 使用本节中的参数来配置 Redshift 连接器。 ### Glue 连接（推荐） 我们建议您使用 Glue 连接对象来配置 Redshift 连接器。要执行此操作，请将 Amazon Redshift 连接器 Lambda 的 `glue_connection` 环境变量设置为要使用的 Glue 连接的名称。 **Glue 连接属性** 使用以下命令来获取 Glue 连接对象的架构。此架构包含可用于控制连接的所有参数。 ``` aws glue describe-connection-type --connection-type REDSHIFT ``` **Lambda 环境属性** **glue\$1connection** – 指定与联合连接器关联的 Glue 连接的名称。 **注意** 所有使用 Glue 连接的连接器都必须使用 AWS Secrets Manager 来存储凭证。 使用 Glue 连接创建的 Redshift 连接器不支持使用多路复用处理程序。 使用 Glue 连接创建的 Redshift 连接器仅支持 `ConnectionSchemaVersion` 2。 ### 旧连接 **注意** 2024 年 12 月 3 日及之后创建的 Athena 数据来源连接器使用 AWS Glue 连接。 下面列出的参数名称和定义适用于在没有关联 Glue 连接器时创建的 Athena 数据来源连接器。仅在[手动部署](connect-data-source-serverless-app-repo.md)早期版本的 Athena 数据来源连接器或未指定 `glue_connection` 环境属性时才使用以下参数。 **Lambda 环境属性** + **spill\$1bucket** - 为超出 Lambda 函数限制的数据指定 Amazon S3 存储桶。 + **spill\$1prefix** -（可选）默认为指定 `spill_bucket`（称为 `athena-federation-spill`）中的子文件夹。我们建议您在此位置配置 Amazon S3 [存储生命周期](https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lifecycle-mgmt.html)，以删除早于预定天数或小时数的溢出内容。 + **spill\$1put\$1request\$1headers** —（可选）用于溢出的 Amazon S3 `putObject` 请求的请求标头和值的 JSON 编码映射（例如 `{"x-amz-server-side-encryption" : "AES256"}`)。有关其他可能的标头，请参阅《[Amazon Simple Storage Service API 参考](https://docs.aws.amazon.com/AmazonS3/latest/API/API_PutObject.html)》中的 *PutObject*。 + **kms\$1key\$1id** -（可选）默认情况下，将使用经过 AES-GCM 身份验证的加密模式和随机生成的密钥对溢出到 Amazon S3 的任何数据进行加密。要让您的 Lambda 函数使用 KMS 生成的更强的加密密钥（如 `a7e63k4b-8loc-40db-a2a1-4d0en2cd8331`），您可以指定 KMS 密钥 ID。 + **disable\$1spill\$1encryption** -（可选）当设置为 `True` 时，将禁用溢出加密。默认值为 `False`，此时将使用 AES-GCM 对溢出到 S3 的数据使用进行加密 - 使用随机生成的密钥，或者使用 KMS 生成密钥。禁用溢出加密可以提高性能，尤其是当您的溢出位置使用[服务器端加密](https://docs.aws.amazon.com/AmazonS3/latest/userguide/serv-side-encryption.html)时。 + **disable\$1glue** -（可选）如果存在且设置为 true，则该连接器不会尝试从 AWS Glue 检索补充元数据。 + **glue\$1catalog** –（可选）使用此选项指定[跨账户 AWS Glue 目录](data-sources-glue-cross-account.md)。默认情况下，该连接器将尝试从其自己的 AWS Glue 账户中获取元数据。 #### 连接字符串 使用以下格式的 JDBC 连接字符串连接到数据库实例。 ``` redshift://${jdbc_connection_string} ``` #### 使用多路复用处理程序 您可以使用多路复用器通过单个 Lambda 函数连接到多个数据库实例。按目录名称来路由请求。在 Lambda 中使用以下类。 **** | 处理程序 | 类 | | --- | --- | | 复合处理程序 | RedshiftMuxCompositeHandler | | 元数据处理程序 | RedshiftMuxMetadataHandler | | 记录处理程序 | RedshiftMuxRecordHandler | ##### 多路复用处理程序参数 **** | 参数 | 说明 | | --- | --- | | \$1catalog\$1connection\$1string | 必需。数据库实例连接字符串。将 Athena 中使用的目录的名称作为环境变量前缀。例如，如果向 Athena 注册的目录是 myredshiftcatalog，则环境变量名称是 myredshiftcatalog\$1connection\$1string。 | | default | 必需。默认连接字符串。目录为 lambda:\$1\$1AWS\$1LAMBDA\$1FUNCTION\$1NAME\$1 时使用此字符串。 | 以下示例属性适用于支持两个数据库实例的 Redshift MUX Lambda 函数：`redshift1`（默认）和 `redshift2`。 **** | 属性 | 值 | | --- | --- | | default | redshift://jdbc:redshift://redshift1.host:5439/dev?user=sample2&password=sample2 | | redshift\$1catalog1\$1connection\$1string | redshift://jdbc:redshift://redshift1.host:3306/default?\$1\$1Test/RDS/Redshift1\$1 | | redshift\$1catalog2\$1connection\$1string | redshift://jdbc:redshift://redshift2.host:3333/default?user=sample2&password=sample2 | ##### 提供凭证 要在 JDBC 连接字符串中为数据库提供用户名和密码，可以使用连接字符串属性或 AWS Secrets Manager。 + **连接字符串** — 可以将用户名和密码指定为 JDBC 连接字符串中的属性。 **重要** 作为安全最佳实践，请勿在环境变量或连接字符串中使用硬编码凭证。有关将硬编码密钥移至 AWS Secrets Manager 的信息，请参阅《*AWS Secrets Manager 用户指南*》中的[将硬编码密钥移至 AWS Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/hardcoded.html)。 + **AWS Secrets Manager** - 要将 Athena 联合查询功能与 AWS Secrets Manager 配合使用，连接到您的 Lambda 函数的 VPC 应该拥有[互联网访问权限](https://aws.amazon.com/premiumsupport/knowledge-center/internet-access-lambda-function/)或者 [VPC 端点](https://docs.aws.amazon.com/secretsmanager/latest/userguide/vpc-endpoint-overview.html)，以连接到 Secrets Manager。 您可以将 AWS Secrets Manager 中的密钥名称放入您的 JDBC 连接字符串中。连接器将该密钥名称替换为来自 Secrets Manager 的 `username` 和 `password` 值。 对于 Amazon RDS 数据库实例，将紧密集成这种支持。如果您使用 Amazon RDS，我们强烈建议您使用 AWS Secrets Manager 和凭证轮换。如果您的数据库不使用 Amazon RDS，请按以下格式将凭证存储为 JSON： ``` {"username": "${username}", "password": "${password}"} ``` **带有密钥名称的示例连接字符串** 以下字符串带有密钥名称 \$1\$1Test/RDS/`Redshift1`\$1。 ``` redshift://jdbc:redshift://redshift1.host:3306/default?...&${Test/RDS/Redshift1}&... ``` 该连接器使用该密钥名称来检索密钥，并提供用户名和密码，如以下示例所示。 ``` redshift://jdbc:redshift://redshift1.host:3306/default?...&user=sample2&password=sample2&... ``` 目前，Redshift 连接器可以识别 `user` 和 `password` JDBC 属性。 ## 数据类型支持 下表显示了适用于 JDBC 和 Apache Arrow 的相应数据类型。 **** | JDBC | Arrow | | --- | --- | | 布尔值 | Bit | | 整数 | Tiny | | 短型 | Smallint | | 整数 | Int | | 长整型 | Bigint | | 浮点数 | Float4 | | 双精度 | Float8 | | 日期 | DateDay | | Timestamp | DateMilli | | 字符串 | Varchar | | 字节 | Varbinary | | BigDecimal | 十进制 | | ARRAY | 列表 | ## 分区和拆分 Redshift 不支持外部分区。有关性能相关问题的信息，请参阅 [性能](#connectors-redshift-performance)。 ## 性能 Athena Redshift 连接器执行谓词下推，以减少查询扫描的数据。`LIMIT` 子句、`ORDER BY` 子句、简单谓词和复杂表达式将下推到连接器，以减少扫描数据量并缩短查询执行的运行时间。但是，选择一部分列有时会导致查询执行的运行时间延长。当您同时运行多个查询时，Amazon Redshift 特别容易受到查询执行速度减慢的影响。 ### LIMIT 子句 `LIMIT N` 语句用于减少查询扫描的数据量。`LIMIT N` 下推时，连接器仅向 Athena 返回 `N` 行。 ### 前 N 个查询 前 `N` 个查询用于指定结果集的顺序以及返回的行数限值。您可以使用此类查询确定数据集的前 `N` 个最大值或前 `N` 个最小值。前 `N` 个查询下推时，连接器仅向 Athena 返回 `N` 个已排序行。 ### Predicates 谓词是 SQL 查询的 `WHERE` 子句中的表达式，其评估结果为布尔值并根据多个条件筛选行。Athena Redshift 连接器可以组合这些表达式并将其直接推送到 Redshift，以增强功能并减少扫描的数据量。 以下 Athena Redshift 连接器运算符支持谓词下推： + **布尔值：**AND、OR、NOT + **相等：**EQUAL、NOT\$1EQUAL、LESS\$1THAN、LESS\$1THAN\$1OR\$1EQUAL、GREATER\$1THAN、GREATER\$1THAN\$1OR\$1EQUAL、IS\$1DISTINCT\$1FROM、NULL\$1IF、IS\$1NULL + **算术：**ADD、SUBTRACT、MULTIPLY、DIVIDE、MODULUS、NEGATE + **其他：**LIKE\$1PATTERN、IN ### 组合下推示例 要增强查询功能，组合下推类型，如以下示例所示： ``` SELECT * FROM my_table WHERE col_a > 10 AND ((col_a + col_b) > (col_c % col_d)) AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') ORDER BY col_a DESC LIMIT 10; ``` 有关使用谓词下推来提高联合查询（包括 Amazon Redshift）性能的文章，请参阅 *AWS 大数据博客*中的[在 Amazon Athena 中使用谓词下推改善联合查询](https://aws.amazon.com/blogs/big-data/improve-federated-queries-with-predicate-pushdown-in-amazon-athena/)。 ## 传递查询 Redshift 连接器支持[传递查询](federated-query-passthrough.md)。传递查询使用表函数将完整查询下推到数据来源来执行查询。 要在 Redshift 中执行传递查询，可以使用以下语法： ``` SELECT * FROM TABLE( system.query( query => 'query string' )) ``` 以下示例查询将查询下推到 Redshift 中的数据来源。该查询选择了 `customer` 表中的所有列，将结果限制为 10。 ``` SELECT * FROM TABLE( system.query( query => 'SELECT * FROM customer LIMIT 10' )) ``` ## 其他资源 有关最新 JDBC 驱动程序版本信息，请参见 GitHub.com 上适用于 Redshift 连接器的 [pom.xml](https://github.com/awslabs/aws-athena-query-federation/blob/master/athena-redshift/pom.xml) 文件。 有关此连接器的更多信息，请访问 GitHub.com 上的[相应站点](https://github.com/awslabs/aws-athena-query-federation/tree/master/athena-redshift)。