翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Flink 2.2 アップグレードのステート互換性ガイド

Flink 1.x から Flink 2.2 にアップグレードする場合、状態互換性の問題により、アプリケーションがスナップショットから復元できなくなる可能性があります。このガイドは、潜在的な互換性の問題を特定し、移行戦略を提供するのに役立ちます。

状態の互換性の変更について

Amazon Managed Service for Apache Flink 2.2 では、状態の互換性に影響するいくつかのシリアル化の変更が導入されています。主なものは次のとおりです。

シリアル化互換性リファレンス

アプリケーション内のすべての状態宣言を確認し、シリアル化タイプを以下の表に一致させます。いずれかの状態タイプに互換性がない場合は、アップグレードに進む前に状態移行「」セクションを参照してください。

診断方法

UpdateApplication API オペレーション後にアプリケーションログを確認するか、ログを調べることで、状態互換性の問題を積極的に特定できます。

アプリケーションで Kryo フォールバックを特定する

ログで次の正規表現パターンを使用して、アプリケーションの Kryo フォールバックを特定できます。

Class class (?<className>[^\s]+) cannot be used as a POJO type

サンプルログ:

Class class org.apache.flink.streaming.connectors.kinesis.model.SequenceNumber
cannot be used as a POJO type because not all fields are valid POJO fields,
and must be processed as GenericType. Please read the Flink documentation on
"Data Types & Serialization" for details of the effect on performance and
schema evolution.

UpdateApplication API を使用してアップグレードが失敗した場合、シリアライザーベースの状態の非互換性が発生していることを次の例外が通知することがあります。

IndexOutOfBoundsException

Caused by: java.lang.IndexOutOfBoundsException: Index 116 out of bounds for length 1
    at java.base/jdk.internal.util.Preconditions.outOfBounds(Unknown Source)
    at java.base/jdk.internal.util.Preconditions.outOfBoundsCheckIndex(Unknown Source)
    at java.base/jdk.internal.util.Preconditions.checkIndex(Unknown Source)
    at java.base/java.util.Objects.checkIndex(Unknown Source)
    at java.base/java.util.ArrayList.get(Unknown Source)
    at com.esotericsoftware.kryo.util.MapReferenceResolver.getReadObject(MapReferenceResolver.java:77)
    at com.esotericsoftware.kryo.Kryo.readReferenceOrNull(Kryo.java:923)
    ... 23 more

StateMigrationException (POJOSerializer)

Caused by: org.apache.flink.util.StateMigrationException: The new state serializer
(org.apache.flink.api.java.typeutils.runtime.PojoSerializer@8bf85b5d) must not be
incompatible with the old state serializer
(org.apache.flink.api.java.typeutils.runtime.PojoSerializer@3282ee3).

アップグレード前のチェックリスト

状態移行

再構築完了状態

ソースデータから状態を再構築できるアプリケーションに最適です。

アプリケーションがソースデータから状態を再構築できる場合:

aws kinesisanalyticsv2 start-application \
    --application-name MyApplication \
    --run-configuration '{
        "ApplicationRestoreConfiguration": {
            "ApplicationRestoreType": "SKIP_RESTORE_FROM_SNAPSHOT"
        }
    }'

ベストプラクティス

次の手順

アップグレードを計画する: 「」を参照してくださいFlink 2.2 へのアップグレード: 完全なガイド。

移行中の質問や問題については、「」を参照Managed Service for Apache Flink をトラブルシューティングするするか、 AWS サポートにお問い合わせください。