本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用连接器和依赖关系
连接器使您能够跨各种技术读取和写入数据。Managed Service for Apache Flink 将三个默认连接器与您的 Studio 笔记本捆绑在一起。您还可以使用自定义连接器。有关连接器的更多信息,请参阅 Apache Flink 文档中的表和 SQL 连接器
默认连接器
如果您使用创建 Studio 笔记本,则 Apache Flink 托管服务默认包含以下自定义连接器:flink-sql-connector-kinesis、flink-connector-kafka_2.12和。 AWS 管理控制台 aws-msk-iam-auth要在没有这些自定义连接器的情况下通过主机创建 Studio 笔记本,请选择 “使用自定义设置创建” 选项。然后,当您进入 “配置” 页面时,清除两个连接器旁边的复选框。
如果您使用 CreateApplicationAPI 创建 Studio 笔记本电脑,则默认情况下不包括flink-sql-connector-flink和flink-connector-kafka连接器。要添加它们,请在CustomArtifactsConfiguration数据类型MavenReference中将其指定为 a,如以下示例所示。
aws-msk-iam-auth连接器是与 Amazon MSK 配合使用的连接器,其中包括自动通过 IAM 进行身份验证的功能。
注意
以下示例中显示的连接器版本是我们唯一支持的版本。
For the Kinesis connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-sql-connector-kinesis", "Version": "1.15.4" } }] For authenticating with AWS MSK through AWS IAM: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "software.amazon.msk", "ArtifactId": "aws-msk-iam-auth", "Version": "1.1.6" } }] For the Apache Kafka connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-connector-kafka", "Version": "1.15.4" } }]
要将这些连接器添加到现有笔记本中,请使用 UpdateApplicationAPI 操作并在CustomArtifactsConfigurationUpdate数据类型MavenReference中将其指定为。
注意
您可以failOnError将表 API 中的flink-sql-connector-kinesis连接器设置为 true。
添加依赖关系和自定义连接器
要使用向 Studio 笔记本添加依赖项或自定义连接器,请执行以下步骤: AWS 管理控制台
-
将您的自定义连接器的文件上载到 Amazon S3。
在中 AWS 管理控制台,选择用于创建 Studio 笔记本的自定义创建选项。
按照 Studio 笔记本的创建工作流程进行操作,直到进入配置步骤。
-
在 “自定义连接器” 部分中,选择 “添加自定义连接器”。
-
指定依赖关系或自定义连接器的 Amazon S3 位置。
-
选择保存更改。
要在使用 CreateApplicationAPI 创建新的 Studio 笔记本时添加依赖关系 JAR 或自定义连接器,请在CustomArtifactsConfiguration数据类型中指定依赖关系 JAR 或自定义连接器的 Amazon S3 位置。要向现有 Studio 笔记本添加依赖项或自定义连接器,请调用 UpdateApplicationAPI 操作并在CustomArtifactsConfigurationUpdate数据类型中指定依赖关系 JAR 或自定义连接器的 Amazon S3 位置。
注意
在包含依赖项或自定义连接器时,还必须包括所有未捆绑在依赖项或自定义连接器中的传递依赖关系。