Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Usa i connettori Apache Flink con Managed Service for Apache Flink
I connettori Apache Flink sono componenti software che spostano i dati da e verso un'applicazione Amazon Managed Service per Apache Flink. I connettori sono integrazioni flessibili che consentono di leggere file e directory. I connettori sono costituiti da moduli completi per l'interazione con i servizi Amazon e i sistemi di terze parti.
I tipi di connettori comprendono:
Fonti: fornisci dati all'applicazione da un flusso di dati Kinesis, un file, un argomento di Apache Kafka, un file o altre fonti di dati.
-
Sinks: invia i dati dall'applicazione a un flusso di dati Kinesis, a un flusso Firehose, a un argomento Apache Kafka o ad altre destinazioni di dati.
-
I/O asincrono: fornisce l'accesso asincrono a una fonte di dati come un database per arricchire i flussi.
I connettori Apache Flink sono archiviati nei rispettivi archivi di origine. La versione e l'artefatto dei connettori Apache Flink cambiano a seconda della versione di Apache Flink in uso e se si utilizza l'API Table o SQL. DataStream
Amazon Managed Service per Apache Flink supporta oltre 40 connettori sorgente e sink Apache Flink predefiniti. La tabella seguente fornisce un riepilogo dei connettori più diffusi e delle versioni associate. È inoltre possibile creare sink personalizzati utilizzando il framework Async-Sink. Per ulteriori informazioni, consulta The Generic Asynchronous Base
Per accedere all'archivio per i connettori Apache Flink, consulta. AWS flink-connector-aws
Connettori per Flink 2.2
Quando si esegue l'aggiornamento a Flink 2.2, è necessario aggiornare le dipendenze dei connettori a versioni compatibili con il runtime Flink 2.x. I connettori Flink vengono rilasciati indipendentemente dal runtime Flink e non tutti i connettori hanno ancora una versione compatibile con Flink 2.x. La tabella seguente riassume la disponibilità dei connettori di uso comune in Amazon Managed Service for Apache Flink al momento della stesura di questo documento:
| Connector | Versione Flink 2.0+ | Note |
|---|---|---|
| Apache Kafka | flink-connector-kafka 4.0.0-2.0 | Consigliato per Flink 2.2 |
| Kinesis Data Streams (fonte) | flink-connector-aws-kinesis-stream 6.0.0-2.0 | Consigliato per Flink 2.2 |
| Kinesis Data Streams (sink) | flink-connector-aws-kinesis-stream 6.0.0-2.0 | Consigliato per Flink 2.2 |
| FileSystem (S3, HDFS) | In bundle con Flink | Integrato nella distribuzione Flink, sempre disponibile |
| JDBC | Non ancora rilasciato per 2.x | Nessuna versione compatibile con Flink 2.x disponibile |
| OpenSearch | Non ancora rilasciata per 2.x | Nessuna versione compatibile con Flink 2.x disponibile |
| Elasticsearch | Non ancora rilasciata per 2.x | Prendi in considerazione la migrazione al connettore OpenSearch |
| Amazon Managed Service per Prometheus | Non ancora rilasciato per 2.x | Nessuna versione compatibile con Flink 2.x al momento della scrittura |
Se l'applicazione dipende da un connettore che non dispone ancora di una versione Flink 2.2, sono disponibili due opzioni: attendere che il connettore rilasci una versione compatibile o valutare se è possibile sostituirlo con un'alternativa (ad esempio, utilizzando il catalogo JDBC o un sink personalizzato).
Problemi noti
Le applicazioni che utilizzano il percorso
KinesisStreamsSourcecon EFO (Enhanced Fan-Out/ SubscribeToShard) introdotto nei connettori v5.0.0 e v6.0.0 potrebbero fallire quando gli stream Kinesis vengono sottoposti a resharding. Si tratta di un problema noto nella comunità. Per ulteriori informazioni, vedere FLINK-37648. Le applicazioni che utilizzano il percorso
KinesisStreamsSourcewith EFO (Enhanced Fan-Out/ SubscribeToShard) introdotto insieme ai connettori v5.0.0 e v6.0.0KinesisStreamsSinkpotrebbero riscontrare dei deadlock se l'applicazione Flink è sottoposta a contropressione, con conseguente arresto completo dell'elaborazione dei dati in uno o più. TaskManagers Per ripristinare l'app sono necessarie un'operazione di arresto forzato e un'operazione di avvio dell'app. Questo è un caso secondario del problema noto nella comunità: FLINK-34071.
Connettori per versioni precedenti di Flink
| Connector | Flink versione 1.15 | Flink versione 1.18 | Versioni Flink 1.19 | Versioni Flink 1.20 |
|---|---|---|---|---|
| Kinesis Data Stream - API di origine DataStream e tabella | flink-connector-kinesis, 1.15.4 | flink-connector-kinesis, 4,3,0-1,18 | flink-connector-kinesis, 5,0,0-1,19 | flink-connector-kinesis, 5,0,0-1,20 |
| API Kinesis Data Stream - Sink - DataStream e Table | flink-connector-aws-kinesis-stream, 1.15.4 | flink-connector-aws-kinesis-stream, 4.3.0-1.18 | flink-connector-aws-kinesis-stream, 5.0.0-1.19 | flink-connector-aws-kinesis-stream, 5.0.0-1.20 |
| Kinesis Data Source/Sink Streams - - SQL | flink-sql-connector-kinesis, 1.15.4 | flink-sql-connector-kinesis, 4,3,0-1,18 | flink-sql-connector-kinesis, 5,0,0-1,19 | flink-sql-connector-kinesis-stream, 5.0.0-1.20 |
| Kafka e Table API DataStream | flink-connector-kafka, 1.15.4 | flink-connector-kafka, 3,2,0-1,18 | flink-connector-kafka, 3,3,0-1,19 | flink-connector-kafka, 3,3,0-1,20 |
| Kafka - SQL | flink-sql-connector-kafka, 1.15.4 | flink-sql-connector-kafka, 3,2,0-1,18 | flink-sql-connector-kafka, 3,3,0-1,19 | flink-sql-connector-kafka, 3,3,0-1,20 |
| API Firehose DataStream e Table | flink-connector-aws-kinesis-firehose, 1.15.4 | flink-connector-aws-firehose, 4,3,0-1,18 | flink-connector-aws-firehose, 5,0,0-1,19 | flink-connector-aws-firehose, 5,0,0-1,20 |
| Firehose - SQL | flink-sql-connector-aws-kinesis-firehose, 1.15.4 | flink-sql-connector-aws-manichetta antincendio, 4.3.0-1.18 | flink-sql-connector-aws- manichetta antincendio, 5.0.0-1.19 | flink-sql-connector-aws- manichetta antincendio, 5.0.0-1.20 |
| DynamoDB DataStream e API per tabelle | flink-connector-dynamodb, 3,0,0-1,15 | flink-connector-dynamodb, 4,3,0-1,18 | flink-connector-dynamodb, 5,0,0-1,19 | flink-connector-dynamodb, 5,0,0-1,20 |
| DynamoDB - SQL | flink-sql-connector-dynamodb, 3,0-1,15 | flink-sql-connector-dynamodb, 4,3,0-1,18 | flink-sql-connector-dynamodb, 5,0,0-1,19 | flink-sql-connector-dynamodb, 5,0,0-1,20 |
| OpenSearch - DataStream e Table API | - | flink-connector-opensearch, 1.2.0-1,18 | flink-connector-opensearch, 1,2,0-1,19 | flink-connector-opensearch, 1,2,0-1,19 |
| OpenSearch - SQL | - | flink-sql-connector-opensearch, 1,2,0-1,18 | flink-sql-connector-opensearch, 1,2,0-1,19 | flink-sql-connector-opensearch, 1,2,0-1,19 |
| Servizio gestito Amazon per Prometheus DataStream | - | flink-sql-connector-opensearch, 1,2,0-1,18 | flink-connector-prometheus, 1,0,0-1,19 | flink-connector-prometheus, 1,0,0-1,20 |
| Amazon SQS DataStream e API per tabelle | - | flink-sql-connector-opensearch, 1,2,0-1,18 | flink-connector-sqs, 5,0,0-1,19 | flink-connector-sqs, 5,0,0-1,20 |
Per ulteriori informazioni sui connettori in Amazon Managed Service for Apache Flink, consulta:
Problemi noti
Esiste un problema noto di Apache Flink open source con il connettore Apache Kafka in Apache Flink 1.15. Questo problema è stato risolto nelle versioni successive di Apache Flink.
Per ulteriori informazioni, consulta Problemi noti.
