View a markdown version of this page

Apache Flink 设置 - Managed Service for Apache Flink

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Flink 设置

Managed Service for Apache Flink 是 Apache Flink 框架的实现。Managed Service for Apache Flink 使用本节中描述的默认值。其中一些值可以由 Managed Service for Apache Flink 应用程序在代码中设置,而其他值则无法更改。

使用本节中的链接详细了解 Apache Flink 设置以及哪些设置是可以修改的。

适用于 Apache 的托管服务 Flink 提供了默认的 Flink 配置,包括大多数属性的 Apache Flink-recommended 值和一些基于常见应用程序配置文件的 Apache 值。有关 Flink 配置的更多信息,请参阅配置。 Service-provided 默认配置适用于大多数应用程序。但是,为调整 Flink 配置属性以提高某些具有高并行度、高内存和状态使用率的应用程序的性能,或者在 Apache Flink 中启用新的调试功能,则可以通过请求支持案例来更改某些属性。有关更多信息,请参阅 AWS 支持中心。您可以使用 Apache Flink 控制面板检查应用程序的当前配置。

状态后端

Managed Service for Apache Flink 将瞬态数据存储在状态后端。适用于 Apache 的托管服务 Flink 使用。RocksDBStateBackend调用 setStateBackend 以设置不同的后端无效。

我们在状态后端上启用以下功能:

  • 增量状态后端快照

  • 异步状态后端快照

  • 本地检查点恢复

有关状态后端的更多信息,请参阅 Apache Flink 文档中的状态后端

检查点

Managed Service for Apache Flink使用具有以下值的默认检查点配置。其中一些值可以使用进行更改CheckpointConfiguration。您必须将 CheckpointConfiguration.ConfigurationType 设置为 适用于 Managed Service for Apache Flink 的 CUSTOM,才能使用修改的检查点值。

设置 是否可以修改? 操作方法 默认值
CheckpointingEnabled 可修改

创建应用程序

更新应用程序

CloudFormation

True
CheckpointInterval 可修改

创建应用程序

更新应用程序

CloudFormation

60000
MinPauseBetweenCheckpoints 可修改

创建应用程序

更新应用程序

CloudFormation

5000
未对齐的检查点 可修改 支持案例 False
并发检查点数 不能修改 N/A 1
检查点模式 不能修改 N/A 恰好一次
检查点保留策略 不能修改 N/A 失败时
检查点超时 不能修改 N/A 60 分钟
保留的最大检查点数 不能修改 N/A 1
检查点和保存点位置 不能修改 N/A 我们将持久的检查点和保存点数据存储到服务拥有的 S3 存储桶中。

保存点

默认情况下,从保存点中还原时,恢复操作尝试将保存点的所有状态映回到用于还原的程序。如果删除了一个操作符,默认情况下,从包含与缺少的操作符对应的数据的保存点中还原将失败。通过将应用程序的AllowNonRestoredState参数设置为,可以允许操作成功trueFlinkRunConfiguration这样,恢复操作就可以跳过无法映射到新程序的状态。

有关更多信息,请参阅 Apache Flink 文档中的允许 Non-Restored 状态

堆大小

Managed Service for Apache Flink为每个 KPU 分配 3 GiB JVM 堆,并为本机代码分配保留 1 GiB。有关增加应用程序容量的信息,请参阅实施 Managed Service for Apache Flink 中的应用程序扩展

有关 JVM 堆大小的更多信息,请参阅 Apache Flink 文档中的配置

缓冲区消胀

缓冲区消胀可以帮助具有高背压的应用。如果您的应用程序体验失败 checkpoints/savepoints,启用此功能可能会很有用。为此,请申请支持案例

有关更多信息,请参阅 Apache Flink 文档中的缓冲区消胀机制