Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Gunakan konektor Apache Flink dengan Managed Service untuk Apache Flink
Konektor Apache Flink adalah komponen perangkat lunak yang memindahkan data masuk dan keluar dari Amazon Managed Service untuk aplikasi Apache Flink. Konektor adalah integrasi fleksibel yang memungkinkan Anda membaca dari file dan direktori. Konektor terdiri dari modul lengkap untuk berinteraksi dengan layanan Amazon dan sistem pihak ketiga.
Tipe konektor termasuk berikut ini:
Sumber: Berikan data ke aplikasi Anda dari aliran data Kinesis, file, topik Apache Kafka, file, atau sumber data lainnya.
-
Tenggelam: Kirim data dari aplikasi Anda ke aliran data Kinesis, aliran Firehose, topik Apache Kafka, atau tujuan data lainnya.
-
Asynchronous I/O: Menyediakan akses asinkron ke sumber data seperti database untuk memperkaya aliran.
Konektor Apache Flink disimpan di repositori sumbernya sendiri. Versi dan artefak untuk konektor Apache Flink berubah tergantung pada versi Apache Flink yang Anda gunakan, dan apakah Anda menggunakan, Table DataStream, atau SQL API.
Amazon Managed Service untuk Apache Flink mendukung lebih dari 40 sumber dan konektor sink Apache Flink yang sudah dibuat sebelumnya. Tabel berikut memberikan ringkasan konektor paling populer dan versi terkaitnya. Anda juga dapat membuat wastafel khusus menggunakan kerangka Async-sink. Untuk informasi selengkapnya, lihat The Generic Asynchronous Base Sink
Untuk mengakses repositori konektor Apache Flink AWS , lihat. flink-connector-aws
Konektor untuk Flink 2.2
Saat memutakhirkan ke Flink 2.2, Anda perlu memperbarui dependensi konektor Anda ke versi yang kompatibel dengan runtime Flink 2.x. Konektor Flink dilepaskan secara independen dari runtime Flink, dan belum semua konektor memiliki rilis yang kompatibel dengan Flink 2.x. Tabel berikut merangkum ketersediaan konektor yang umum digunakan di Amazon Managed Service untuk Apache Flink pada tulisan ini:
| Konektor | Flink 2.0+ Versi | Catatan |
|---|---|---|
| Apache Kafka | flink-connector-kafka 4.0.0-2.0 | Direkomendasikan untuk Flink 2.2 |
| Kinesis Data Streams (sumber) | flink-connector-aws-kinesis-aliran 6.0.0-2.0 | Direkomendasikan untuk Flink 2.2 |
| Kinesis Data Streams (wastafel) | flink-connector-aws-kinesis-aliran 6.0.0-2.0 | Direkomendasikan untuk Flink 2.2 |
| FileSystem (S3, HDFS) | Dibundel dengan Flink | Dibangun ke dalam distribusi Flink - selalu tersedia |
| JDBC | Belum dirilis untuk 2.x | Tidak ada rilis yang kompatibel dengan Flink 2.x |
| OpenSearch | Belum dirilis untuk 2.x | Tidak ada rilis yang kompatibel dengan Flink 2.x |
| Elasticsearch | Belum dirilis untuk 2.x | Pertimbangkan untuk bermigrasi ke konektor OpenSearch |
| Amazon Managed Service for Prometheus | Belum dirilis untuk 2.x | Tidak ada rilis yang kompatibel dengan Flink 2.x pada saat penulisan |
Jika aplikasi Anda bergantung pada konektor yang belum memiliki rilis Flink 2.2, Anda memiliki dua opsi: tunggu konektor merilis versi yang kompatibel, atau evaluasi apakah Anda dapat menggantinya dengan alternatif (misalnya, menggunakan katalog JDBC atau wastafel khusus).
Masalah yang diketahui
Aplikasi yang menggunakan jalur
KinesisStreamsSourcewith EFO (Enhanced Fan-Out/ SubscribeToShard) yang diperkenalkan di konektor v5.0.0 dan v6.0.0 mungkin gagal saat aliran Kinesis mengalami resharding. Ini adalah masalah yang diketahui di masyarakat. Untuk informasi lebih lanjut, lihat FLINK-37648. Aplikasi yang menggunakan jalur
KinesisStreamsSourcewith EFO (Enhanced Fan-Out/ SubscribeToShard) yang diperkenalkan di konektor v5.0.0 dan v6.0.0 bersama-sama denganKinesisStreamsSinkmungkin mengalami kebuntuan jika aplikasi Flink berada di bawah tekanan balik, menghasilkan penghentian total pemrosesan data dalam satu atau lebih. TaskManagers Operasi penghentian paksa dan operasi aplikasi mulai diperlukan untuk memulihkan aplikasi. Ini adalah sub-kasus dari masalah yang diketahui di komunitas: FLINK-34071.
Konektor untuk versi Flink yang lebih lama
| Konektor | Flink versi 1.15 | Flink versi 1.18 | Flink versi 1.19 | Flink versi 1.20 |
|---|---|---|---|---|
| Aliran Data Kinesis - Sumber - DataStream dan API Tabel | flink-connector-kinesis, 1.15.4 | flink-connector-kinesis, 4.3.0-1.18 | flink-connector-kinesis, 5.0.0-1.19 | flink-connector-kinesis, 5.0.0-1.20 |
| Aliran Data Kinesis - Sink - DataStream dan API Tabel | flink-connector-aws-kinesis-aliran, 1.15.4 | flink-connector-aws-kinesis-aliran, 4.3.0-1.18 | flink-connector-aws-kinesis-aliran, 5.0.0-1.19 | flink-connector-aws-kinesis-aliran, 5.0.0-1.20 |
| Kinesis Data Source/Sink Streams - - SQL | flink-sql-connector-kinesis, 1.15.4 | flink-sql-connector-kinesis, 4.3.0-1.18 | flink-sql-connector-kinesis, 5.0.0-1.19 | flink-sql-connector-kinesis-aliran, 5.0.0-1.20 |
| Kafka - DataStream dan Tabel API | flink-connector-kafka, 1.15.4 | flink-connector-kafka, 3.2.0-1.18 | flink-connector-kafka, 3.3.0-1.19 | flink-connector-kafka, 3.3.0-1.20 |
| Kafka - SQL | flink-sql-connector-kafka, 1.15.4 | flink-sql-connector-kafka, 3.2.0-1.18 | flink-sql-connector-kafka, 3.3.0-1.19 | flink-sql-connector-kafka, 3.3.0-1.20 |
| Firehose - DataStream dan Tabel API | flink-connector-aws-kinesis-selang api, 1.15.4 | flink-connector-aws-firehose, 4.3.0-1.18 | flink-connector-aws-firehose, 5.0.0-1.19 | flink-connector-aws-firehose, 5.0.0-1.20 |
| Firehose - SQL | flink-sql-connector-aws-kinesis-firehose, 1.15.4 | flink-sql-connector-aws-selang api, 4.3.0-1.18 | flink-sql-connector-aws-firehose, 5.0.0-1.19 | flink-sql-connector-aws-firehose, 5.0.0-1.20 |
| DynamoDB - dan Tabel API DataStream | flink-connector-dynamodb, 3.0.0-1.15 | flink-connector-dynamodb, 4.3.0-1.18 | flink-connector-dynamodb, 5.0.0-1.19 | flink-connector-dynamodb, 5.0.0-1.20 |
| DynamoDB - SQL | flink-sql-connector-dynamodb, 3.0.0-1.15 | flink-sql-connector-dynamodb, 4.3.0-1.18 | flink-sql-connector-dynamodb, 5.0.0-1.19 | flink-sql-connector-dynamodb, 5.0.0-1.20 |
| OpenSearch - DataStream dan Tabel API | - | flink-connector-opensearch, 1.2.0-1.18 | flink-connector-opensearch, 1.2.0-1.19 | flink-connector-opensearch, 1.2.0-1.19 |
| OpenSearch - SQL | - | flink-sql-connector-opensearch, 1.2.0-1.18 | flink-sql-connector-opensearch, 1.2.0-1.19 | flink-sql-connector-opensearch, 1.2.0-1.19 |
| Layanan Dikelola Amazon untuk Prometheus DataStream | - | flink-sql-connector-opensearch, 1.2.0-1.18 | flink-connector-prometheus, 1.0.0-1.19 | flink-connector-prometheus, 1.0.0-1.20 |
| Amazon SQS DataStream dan Tabel API | - | flink-sql-connector-opensearch, 1.2.0-1.18 | flink-connector-sqs, 5.0.0-1.19 | flink-connector-sqs, 5.0.0-1.20 |
Untuk mempelajari lebih lanjut tentang konektor di Amazon Managed Service untuk Apache Flink, lihat:
Masalah yang diketahui
Ada masalah open source Apache Flink yang diketahui dengan konektor Apache Kafka di Apache Flink 1.15. Masalah ini diselesaikan di versi Apache Flink yang lebih baru.
Lihat informasi yang lebih lengkap di Masalah yang diketahui.
