Amazon Managed Service for Apache Flink 2.2

MSF Flink 2.2는 이제 고객이 env.getConfig().set() 또는 유사한 APIs를 통해 MSF에서 지원하지 않는 구성을 수정하려고 할 때 예외를 보고합니다. 프로그래밍 방식 Flink 구성 속성을(를) 참조하세요.

고객은 여전히 지원 티켓을 통해 특정 구성 변경을 요청할 수 있습니다(수정 가능한 설정 참조).

Flink fullRestarts 2.2에서 지표가 제거되었습니다. 대신 numRestarts 지표를 사용합니다.

KDS 커넥터에 대한 지표는 Flink AWS 커넥터 버전 bytesRequestedPerFetch 6.0.0(Flink 2.2와 호환되는 커넥터 버전만 해당)에서 제거되었습니다.

uptime 및 downtime 지표는 모두 Flink 2.2에서 더 이상 사용되지 않는 것으로 표시되며 곧 제거될 예정입니다. 를 새 지표 uptime로 바꿉니다runningTime. downtime를 restartingTime, cancellingTime및 중 하나 이상으로 바꿉니다failingTime.

지원되는 지표의 전체 목록은 지표 및 차원 페이지를 참조하세요.

이러한 허용된 엔드포인트는 AWS SDK의 DefaultCredentialsProvider(/latest/meta-data/iam/security-credentials/) 및 DefaultAwsRegionProviderChain(/latest/dynamic/instance-identity/document)에서 애플리케이션에 대한 자격 증명과 리전을 자동으로 구성하는 데 사용됩니다.

비보안 인증 IMDS 호출(예: EC2MetadataUtils.getInstanceId(), EC2MetadataUtils.getInstanceType()EC2MetadataUtils.getLocalHostName(), 또는 EC2MetadataUtils.getAvailabilityZone())에 의존하는 AWS SDK 함수를 사용하는 애플리케이션은 이러한 호출을 시도할 때 HTTP 4xx 오류를 수신합니다.

애플리케이션이 인스턴스 메타데이터 또는 허용된 경로 외부의 기타 정보에 IMDS를 사용하는 경우 대신 환경 변수 또는 애플리케이션 구성을 사용하도록 코드를 리팩터링합니다.

보안을 개선하기 위해이 아닌 모든 종속성이 기본 flink 작업 디렉터리/tmp인 경우가 발생합니다java.io.FileNotFoundException: /{path}/{filename} (Read-only file system).

파일 시스템 종속성은 코드에서 직접 시작하거나 종속성에 포함된 라이브러리에서 간접적으로 시작될 수 있습니다. 코드/tmp/에서 직접 파일 시스템 종속성을 로 재정의합니다. 라이브러리의 간접 파일 시스템 종속성의 경우 라이브러리 구성 재정의를 사용하여 파일 시스템 작업을 로 리디렉션합니다/tmp/.

배치 처리를 위한 레거시 DataSet API가 Flink 2.0 이상에서 완전히 제거되었습니다. 이제 모든 배치 처리에서 통합 DataStream API를 사용해야 합니다.

업그레이드하기 전에 DataSet API를 사용하는 애플리케이션을 DataStream API로 마이그레이션해야 합니다. DataSet에서 DataStream으로의 변환에 대한 Apache Flink 마이그레이션 가이드 참조

Java 11 지원은 완전히 제거되었습니다. Java 17이 기본이며 권장되는 런타임입니다.

Python 3.8 지원이 제거되었습니다. 이제 Python 3.12가 기본값입니다.

레거시 SourceFunction 및 SinkFunction 인터페이스는 새로운 통합 소스(FLIP-27) 및 싱크(FLIP-143) APIs로 대체되었으며, 이는 경계/비경계 이중성, 향상된 체크포인트 조정 및 더 깨끗한 프로그래밍 모델에 대한 더 나은 지원을 제공합니다.

Kinesis Data Streams의 경우 KinesisStreamsSink의 KinesisStreamsSource 및를 사용합니다flink-connector-aws-kinesis-streams:6.0.0-2.0.

Flink Scala API가 제거되었습니다. Flink의 Java API는 이제 JVM 기반 애플리케이션에 지원되는 단일 API입니다.

애플리케이션이 Scala로 작성된 경우 Scala 코드에서 Flink의 Java API를 계속 사용할 수 있습니다. 주요 변경 사항은 Scala별 래퍼와 암시적 변환을 더 이상 사용할 수 없다는 것입니다. Scala 애플리케이션 업데이트에 대한 자세한 내용은 애플리케이션 및 Flink 버전 업그레이드를 참조하세요.

버전 2.24에서 5.6으로 업그레이드된 Kryo serializer는 상태 호환성 문제를 일으킬 수 있습니다.

컬렉션(HashMap, ArrayList, HashSet)이 있는 POJOs에는 상태 호환성 문제가 있을 수 있습니다.

Avro 및 Protobuf 직렬화는 영향을 받지 않습니다.

애플리케이션의 위험 수준을 분류하기 Flink 2.2 업그레이드를 위한 상태 호환성 가이드 위한 자세한 평가는 섹션을 참조하세요.

애플리케이션이 아직 Flink 2.x 릴리스가 없는 커넥터에 의존하는 경우 커넥터가 호환 버전을 릴리스할 때까지 기다리거나 대체 버전으로 대체할 수 있는지(예: JDBC 카탈로그 또는 사용자 지정 싱크 사용) 평가하는 두 가지 옵션이 있습니다.

커넥터 버전을 업데이트할 때 아티팩트 이름 변경에 유의하세요. 일부 커넥터는 메이저 버전 간에 이름이 변경되었습니다(예: Firehose 커넥터가 일부 중간 버전flink-connector-aws-firehose에서에서 flink-connector-aws-kinesis-firehose 로 변경됨).

Amazon Managed Service for Apache Flink 커넥터 설명서에서 대상 런타임에서 지원되는 정확한 아티팩트 이름 및 버전을 항상 확인하세요.

구체화된 테이블: 지속적으로 유지 관리되고 쿼리 가능한 테이블 스냅샷.

사용자 지정 원격 측정 변경: 사용자 지정 지표 리포터 및 원격 측정 구성.

ForSt 상태 백엔드: 분해된 상태 스토리지(오픈 소스의 실험적).

Java 21: Managed Service for Apache Flink에서 지원되지 않는 오픈 소스에서의 실험 지원.

커넥터 v5.0.0 및 v6.0.0에 도입된 EFO(Enhanced Fan-Out/SubscribeToShard) 경로와 KinesisStreamsSource 함께를 사용하는 애플리케이션은 Kinesis 스트림이 리샤딩될 때 실패할 수 있습니다. 이는 커뮤니티에서 알려진 문제입니다. 자세한 내용은 FLINK-37648을 참조하세요.

커넥터 v5.0.0 및 v6.0.0에 도입된 KinesisStreamsSource EFO(Enhanced Fan-Out/SubscribeToShard) 경로를와 함께 사용하는 애플리케이션은 Flink 애플리케이션에 역압이 가해지면 교착 상태가 발생하여 하나 이상의 TaskManager에서 데이터 처리가 완전히 중지될 KinesisStreamsSink 수 있습니다. TaskManagers 애플리케이션을 복구하려면 강제 중지 작업과 애플리케이션 시작 작업이 필요합니다. 커뮤니티에서 알려진 문제의 하위 사례입니다. 자세한 내용은 FLINK-34071을 참조하세요.

Flink 2.2를 처음 사용하시나요? 자세한 Apache Flink 2.2 설명서는 Apache Flink 2.2 설명서를 참조하세요.

업그레이드를 계획하고 있나요? Flink 2.2로 업그레이드: 전체 가이드 섹션을 참조하세요

상태 호환성 문제? Flink 2.2 업그레이드를 위한 상태 호환성 가이드 섹션을 참조하세요