本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用連接器和相依性
連接器可讓您跨越各種技術讀取和寫入資料。Managed Service for Apache Flink 會將三個預設連接器與您的 Studio 筆記本綁定。您也可以使用自訂連接器。如需連接器的詳細資訊,請參閱《Apache Flink 文件》中的資料表和 SQL 連接器
預設連接器
如果您使用 AWS 管理主控台 建立 Studio 筆記本,Managed Service for Apache Flink 預設會包含下列自訂連接器: flink-sql-connector-kinesisflink-connector-kafka_2.12和 aws-msk-iam-auth。若要在沒有這些自訂連接器的情況下透過主控台建立 Studio 筆記本,請選擇使用自訂設定建立選項。然後,當您進入組態頁面時,清除兩個連接器旁邊的核取方塊。
如果您使用 CreateApplication API 來建立 Studio 筆記本,預設不包含 flink-sql-connector-flink 和 flink-connector-kafka 連接器。若要新增它們,請將它們指定為 CustomArtifactsConfiguration 資料類型的 MavenReference,如下列範例所示。
aws-msk-iam-auth 連接器是與 Amazon MSK 搭配使用的連接器,其中包含可透過 IAM 自動驗證的功能。
注意
下列範例中顯示的連接器版本是我們支援的唯一版本。
For the Kinesis connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-sql-connector-kinesis", "Version": "1.15.4" } }] For authenticating with AWS MSK through AWS IAM: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "software.amazon.msk", "ArtifactId": "aws-msk-iam-auth", "Version": "1.1.6" } }] For the Apache Kafka connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-connector-kafka", "Version": "1.15.4" } }]
若要將這些連接器新增至現有的筆記本,請使用 UpdateApplication API 作業,並將它們指定為 CustomArtifactsConfigurationUpdate 資料類型的 MavenReference。
注意
針對資料表 API 中的 flink-sql-connector-kinesis 連接器,您可以將 failOnError 設定為 true。
新增相依性和自訂連接器
若要使用 AWS 管理主控台 將相依性或自訂連接器新增至 Studio 筆記本,請遵循下列步驟:
-
將自訂連接器的檔案上傳到 Amazon S3。
在 中 AWS 管理主控台,選擇建立 Studio 筆記本的自訂建立選項。
遵循 Studio 筆記本建立工作流程,直到進入組態步驟。
-
在自訂連接器區段,選擇新增自訂連接器。
-
指定相依性或自訂連接器的 Amazon S3 位置。
-
選擇儲存變更。
若要在使用 CreateApplication API 建立新的 Studio 筆記本時新增相依性 JAR 或自訂連接器,請在 CustomArtifactsConfiguration 資料類型中指定相依性 JAR 或自訂連接器的 Amazon S3 位置。若要將相依性或自訂連接器新增至現有的 Studio 筆記本,請調用 UpdateApplication API,並在 CustomArtifactsConfigurationUpdate 資料類型中指定相依性 JAR 或自訂連接器的 Amazon S3 位置。
注意
包含相依性或自訂連接器時,還必須包含其中未綁定的所有可轉移相依性。