Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verwenden Sie Apache Flink-Konnektoren mit Managed Service für Apache Flink
Apache Flink-Konnektoren sind Softwarekomponenten, die Daten in und aus einer Amazon Managed Service für Apache Flink-Anwendung übertragen. Konnektoren sind flexible Integrationen, mit denen Sie aus Dateien und Verzeichnissen lesen können. Konnektoren bestehen aus kompletten Modulen für die Interaktion mit Amazon-Services und Systemen von Drittanbietern.
Zu den Konnektoren gehören die folgenden:
Quellen: Stellen Sie Ihrer Anwendung Daten aus einem Kinesis-Datenstream, einer Datei, einem Apache Kafka-Thema, einer Datei oder anderen Datenquellen bereit.
-
Senken: Senden Sie Daten aus Ihrer Anwendung an einen Kinesis-Datenstream, Firehose-Stream, Apache Kafka-Thema oder andere Datenziele.
-
Asynchrone I/O: Ermöglicht asynchronen Zugriff auf eine Datenquelle, z. B. eine Datenbank, um Streams anzureichern.
Apache Flink-Konnektoren werden in ihren eigenen Quell-Repositorys gespeichert. Die Version und das Artefakt für Apache Flink-Konnektoren ändern sich je nach der von Ihnen verwendeten Apache Flink-Version und davon, ob Sie die Table- oder die DataStream SQL-API verwenden.
Amazon Managed Service für Apache Flink unterstützt über 40 vorgefertigte Apache Flink-Quell- und Senken-Konnektoren. Die folgende Tabelle enthält eine Zusammenfassung der beliebtesten Konnektoren und der zugehörigen Versionen. Sie können auch benutzerdefinierte Senken mithilfe des Async-Sink-Frameworks erstellen. Weitere Informationen finden Sie unter The Generic Asynchronous Base Sink
Informationen zum Zugriff auf das Repository für Apache AWS Flink-Konnektoren finden Sie unter. flink-connector-aws
Anschlüsse für Flink 2.2
Wenn Sie auf Flink 2.2 aktualisieren, müssen Sie Ihre Connector-Abhängigkeiten auf Versionen aktualisieren, die mit der Flink 2.x-Laufzeit kompatibel sind. Flink-Konnektoren werden unabhängig von der Flink-Runtime veröffentlicht, und es gibt noch nicht für alle Konnektoren eine Flink 2.x-kompatible Version. Die folgende Tabelle fasst die Verfügbarkeit häufig verwendeter Konnektoren in Amazon Managed Service für Apache Flink zum jetzigen Zeitpunkt zusammen:
| Konnektor | Flink 2.0+ Version | Hinweise |
|---|---|---|
| Apache Kafka | flink-connector-kafka 4.0.0-2.0 | Empfohlen für Flink 2.2 |
| Kinesis Data Streams (Quelle) | flink-connector-aws-kinesis-Streams 6.0.0-2.0 | Empfohlen für Flink 2.2 |
| Kinesis Data Streams (Senke) | flink-connector-aws-kinesis-Streams 6.0.0-2.0 | Empfohlen für Flink 2.2 |
| FileSystem (S3, HDFS) | Im Paket mit Flink | In die Flink-Distribution integriert — immer verfügbar |
| JDBC | Noch nicht für 2.x veröffentlicht | Keine Flink 2.x-kompatible Version verfügbar |
| OpenSearch | Noch nicht für 2.x veröffentlicht | Keine Flink 2.x-kompatible Version verfügbar |
| Elasticsearch | Noch nicht für 2.x veröffentlicht | Erwägen Sie eine Migration zum Connector OpenSearch |
| Amazon Managed Service für Prometheus | Noch nicht für 2.x veröffentlicht | Zum Zeitpunkt der Erstellung dieses Artikels gab es keine mit Flink 2.x kompatible Version |
Wenn Ihre Anwendung von einem Connector abhängt, für den es noch keine Flink 2.2-Version gibt, haben Sie zwei Möglichkeiten: Warten Sie, bis der Connector eine kompatible Version veröffentlicht, oder prüfen Sie, ob Sie ihn durch eine Alternative ersetzen können (z. B. mithilfe des JDBC-Katalogs oder einer benutzerdefinierten Senke).
Bekannte Probleme
Anwendungen, die den in Connector v5.0.0 und v6.0.0 eingeführten Pfad
KinesisStreamsSourcewith EFO (Enhanced Fan-Out/ SubscribeToShard) verwenden, können fehlschlagen, wenn Kinesis-Streams reshardiert werden. Dies ist ein bekanntes Problem in der Community. Weitere Informationen finden Sie unter FLINK-37648. Bei Anwendungen, die den in den Konnektoren v5.0.0 und v6.0.0 eingeführten Pfad
KinesisStreamsSourcewith EFO (Enhanced Fan-Out/ SubscribeToShard) zusammen verwenden,KinesisStreamsSinkkann es zu Deadlocks kommen, wenn die Flink-Anwendung unter Gegendruck steht, was zu einem vollständigen Stopp der Datenverarbeitung in einer oder mehreren führt. TaskManagers Ein erzwungener Stop-Vorgang und ein Startvorgang für die App sind erforderlich, um die App wiederherzustellen. Dies ist ein Unterfall des in der Community bekannten Problems: FLINK-34071.
Anschlüsse für ältere Flink-Versionen
| Konnektor | Flink Version 1.15 | Flink versie 1.18 | Flink-Versionen 1.19 | Flink-Versionen 1.20 |
|---|---|---|---|---|
| Kinesis Data Stream — Quell DataStream - und Tabellen-API | flink-connector-kinesis, 1.15.4 | flink-connector-kinesis, 4,3,0-1,18 | flink-connector-kinesis, 5,0,0-1,19 | flink-connector-kinesis, 5,0,0-1,20 |
| Kinesis Data Stream — Sink DataStream - und Tabellen-API | flink-connector-aws-kinesis-Streams, 1.15.4 | flink-connector-aws-kinesis-Streams, 4.3.0-1.18 | flink-connector-aws-kinesis-Streams, 5.0.0-1.19 | flink-connector-aws-kinesis-Streams, 5.0.0-1.20 |
| Kinesis Data Streams - Source/Sink - SQL | flink-sql-connector-kinesis, 1.15.4 | flink-sql-connector-kinesis, 4,3,0-1,18 | flink-sql-connector-kinesis, 5,0,0-1,19 | flink-sql-connector-kinesis-Streams, 5.0.0-1.20 |
| Kafka — und Tabellen-API DataStream | flink-connector-kafka, 1.15.4 | flink-connector-kafka, 3,2,0-1,18 | flink-connector-kafka, 3,3,0-1,19 | flink-connector-kafka, 3,3,0-1,20 |
| Kafka - SQL | flink-sql-connector-kafka, 1.15.4 | flink-sql-connector-kafka, 3,2,0-1,18 | flink-sql-connector-kafka, 3,3,0-1,19 | flink-sql-connector-kafka, 3,3,0-1,20 |
| Firehose DataStream - und Tabellen-API | flink-connector-aws-kinesis-Firehose, 1.15.4 | flink-connector-aws-firehose, 4.3.0-1.18 | flink-connector-aws-firehose, 5,0,0-1,19 | flink-connector-aws-firehose, 5,0,0-1,20 |
| Firehose - SQL | flink-sql-connector-aws-Kinesis-Firehose, 1.15.4 | flink-sql-connector-aws-Feuerwehrschlauch, 4.3.0-1.18 | flink-sql-connector-aws-Feuerwehrschlauch, 5.0.0-1.19 | flink-sql-connector-aws-Feuerwehrschlauch, 5.0.0-1.20 |
| DynamoDB - DataStream und Tabellen-API | flink-connector-dynamodb, 3.0.0-1.15 | flink-connector-dynamodb, 4,3,0-1,18 | flink-connector-dynamodb, 5,0,0-1,19 | flink-connector-dynamodb, 5,0,0-1,20 |
| DynamoDB - SQL | flink-sql-connector-dynamodb, 3.0.0-1.15 | flink-sql-connector-dynamodb, 4,3,0-1,18 | flink-sql-connector-dynamodb, 5,0,0-1,19 | flink-sql-connector-dynamodb, 5,0,0-1,20 |
| OpenSearch - und Tabellen-API DataStream | - | flink-connector-opensearch, 1.2.0-1.18 | flink-connector-opensearch, 1,2.0-1,19 | flink-connector-opensearch, 1,2.0-1,19 |
| OpenSearch - SQL | - | flink-sql-connector-opensearch, 1.2.0-1.18 | flink-sql-connector-opensearch, 1,2.0-1,19 | flink-sql-connector-opensearch, 1,2.0-1,19 |
| Amazon Managed Service für Prometheus DataStream | - | flink-sql-connector-opensearch, 1.2.0-1.18 | flink-connector-prometheus, 1.0.0-1,19 | flink-connector-prometheus, 1.0.0-1,20 |
| Amazon SQS DataStream und Tabellen-API | - | flink-sql-connector-opensearch, 1.2.0-1.18 | flink-connector-sqs, 5,0,0-1,19 | flink-connector-sqs, 5,0,0-1,20 |
Weitere Informationen zu Konnektoren in Amazon Managed Service für Apache Flink finden Sie unter:
Bekannte Probleme
Es gibt ein bekanntes Open-Source-Apache Flink-Problem mit dem Apache Kafka-Konnektor in Apache Flink 1.15. Dieses Problem wurde in späteren Versionen von Apache Flink behoben.
Weitere Informationen finden Sie unter Bekannte Probleme.
