本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon Managed Service for Apache Flink 入门(表 API)
本节向您介绍 Managed Service for Apache Flink 的基本概念以及使用表 API 和 SQL 在 Java 中实施应用程序。它演示了如何在同一个应用程序 APIs 中的不同应用程序之间切换,并描述了用于创建和测试应用程序的可用选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。
主题
审核 Managed Service for Apache Flink 应用程序组件
注意
适用于 Apache Flink 的托管服务 Flink 支持所有 Apache Flink
为处理数据,Managed Service for Apache Flink 应用程序使用 Java 应用程序,其使用 Apache Flink 运行时系统处理输入和生成输出。
典型的 Apache Flink 应用程序包含以下组件:
-
运行时属性:您可以使用运行时属性将配置参数传递给应用程序,而无需修改和重新发布代码。
-
源:应用程序使用来自一个或多个源的数据。源使用连接器
从外部系统(例如 Kinesis 数据流或 Amazon MSK 主题)读取数据。对于开发或测试,您也可以让源随机生成测试数据。有关更多信息,请参阅 将流数据源添加到 Managed Service for Apache Flink。在 SQL 或表 API 中,源定义为源表。 -
转换:应用程序通过一个或多个可以筛选、丰富或聚合数据的转换来处理数据。使用 SQL 或表 API 时,转换定义为对表的查询或对视图的查询。
-
接收器:应用程序通过接收器将数据发送到外部系统。接收器使用连接器
将数据发送到外部系统,例如 Kinesis 数据流、Amazon MSK 主题、Amazon MSK 主题、Amazon S3 存储桶或关系数据库。也可以使用特殊的连接器,仅出于开发目的打印输出。使用 SQL 或表 API 时,接收器定义为接收器表,您将在其中插入结果。有关更多信息,请参阅 在 Managed Service for Apache Flink 中使用接收器写入数据。
您的应用程序需要一些外部依赖项,例如应用程序使用的 Flink 连接器或潜在的 Java 库。要在 Amazon Managed Service for Apache Flink 中运行,您必须将应用程序和依赖项打包到 fat-JAR 中,然后将其上传到 Amazon S3 存储桶。然后,您创建一个 Managed Service for Apache Flink 应用程序。您可以传递代码包位置以及其他运行时配置参数。本教程演示如何使用 Apache Maven 打包应用程序,以及如何在您选择的 IDE 中本地运行应用程序。
完成所需的先决条件
在开始本教程之前,请先完成 开始使用适用于 Apache Flink 的亚马逊托管服务 (DataStream API)中的前两个步骤:
要开始使用,请参阅 创建 应用程序。