本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
REST API 連線
AWS Glue 連接器涵蓋各種資料來源,包括 AWS 和外部。不過,可能有原生 AWS Glue 連接器不支援的專屬系統或新興平台。 AWS Glue REST 連接器提供一種機制,為具有 REST 型 API 的任何資料來源設定自訂連接器,其運作方式與原生支援的 AWS Glue 連接器相同。此功能可將建置自訂程式庫或 ETL 指令碼以存取這些資料來源的需求降到最低。
為了啟用 REST API 連接器, AWS Glue 推出了新的 AWS 資源 - 連線類型。下列操作可用來管理 REST API 型資料來源的連線:
-
RegisterConnectionType - AWS Glue 根據提供的組態在 中註冊連線類型。如需請求結構,請參閱 RegisterConnectionType。
-
DeleteConnectionType - 在 中刪除連線類型組態 AWS Glue。請參閱 DeleteConnectionType。
-
DescribeConnectionType - 傳回指定連線類型支援選項的完整詳細資訊 AWS Glue。請參閱 DescribeConnectionType。
-
ListConnectionTypes - 傳回連線類型的清單,其中包含每個 AWS Glue 連線類型支援的高階詳細資訊。請參閱 ListConnectionTypes。
在 中建立 REST 連線類型 AWS Glue
若要建立 REST 連線類型,請使用 AWS CLI、 AWS SDK 或 AWS API 來叫用 RegisterConnectionType API。根據要連線的 REST API 提供組態詳細資訊。
注意
無法使用 AWS Glue 主控台建立 REST 連線
先決條件
嘗試設定 AWS Glue REST API 連接器之前,您需要先熟悉 REST API 的內部工作。如果您有資料來源的 REST API 文件和用於檢查請求/回應結構的工具,這很有幫助。
應識別 REST API 的下列屬性:
-
用於對 REST 端點進行呼叫的身分驗證機制。 AWS Glue REST API 連接器支援:基本身分驗證、OAuth2 - ClientCredentials、OAuth2 - 授權碼、OAuth2 - JWT 和自訂身分驗證。
-
您可以透過 REST 端點和相關中繼資料 (例如欄位名稱和資料類型) 傳輸的實體 (資料物件)。
-
HTTP 請求和回應結構。此結構包括 HTTP 方法、端點 URL、標頭、查詢參數,以及請求內文和回應承載的格式。
-
分頁機制。 AWS Glue REST API 連接器支援兩種分頁機制:
cursor-based和offset-based分頁。
RegisterConnectionType
AWS Glue 根據提供的組態在 中註冊 ConnectionType。ConnectionType 資源是一種新 AWS Glue 資源,可存放有關資料來源如何解譯請求和回應的詳細資訊。目前僅支援 REST 通訊協定。它封裝了 REST API 來源的詳細資訊,例如:
-
連線屬性 - 定義 BaseUrl 以連線至 REST API,以及在 AWS Glue CreateConnection 期間取得輸入所需的任何其他請求參數。
-
身分驗證組態 - 定義如何驗證對 REST API 的請求。為 AWS Glue 連線類型建立連線時,會使用此組態。
-
REST 組態 - 定義 HTTP 請求和回應組態,以從 REST API 來源讀取資料。需要在全域或實體層級設定下列屬性:
-
請求方法 - 定義 REST HTTP 方法。
-
回應組態 - 定義應如何解譯 API 回應 (包括內文中的記錄或錯誤位置)。
-
分頁組態 - 定義 REST API 用於分頁產生的記錄的策略,以及如何傳送/擷取分頁屬性。
-
驗證端點組態 - 定義要呼叫的端點以驗證 AWS Glue 連線。
-
實體組態 - 定義連接器支援的 REST 實體及其結構描述。
-
RegisterConnectionType 請求語法
註冊 REST API 連線類型後,即可用來建立已設定資料來源的連線。如需詳細說明,請參閱連線至 REST APIs。