View a markdown version of this page

REST API 連線 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

REST API 連線

AWS Glue 連接器涵蓋各種資料來源,包括 AWS 和外部。不過,可能有原生 AWS Glue 連接器不支援的專屬系統或新興平台。 AWS Glue REST 連接器提供一種機制,為具有 REST 型 API 的任何資料來源設定自訂連接器,其運作方式與原生支援的 AWS Glue 連接器相同。此功能可將建置自訂程式庫或 ETL 指令碼以存取這些資料來源的需求降到最低。

為了啟用 REST API 連接器, AWS Glue 推出了新的 AWS 資源 - 連線類型。下列操作可用來管理 REST API 型資料來源的連線:

  • RegisterConnectionType - AWS Glue 根據提供的組態在 中註冊連線類型。如需請求結構,請參閱 RegisterConnectionType

  • DeleteConnectionType - 在 中刪除連線類型組態 AWS Glue。請參閱 DeleteConnectionType

  • DescribeConnectionType - 傳回指定連線類型支援選項的完整詳細資訊 AWS Glue。請參閱 DescribeConnectionType

  • ListConnectionTypes - 傳回連線類型的清單,其中包含每個 AWS Glue 連線類型支援的高階詳細資訊。請參閱 ListConnectionTypes

在 中建立 REST 連線類型 AWS Glue

若要建立 REST 連線類型,請使用 AWS CLI、 AWS SDK 或 AWS API 來叫用 RegisterConnectionType API。根據要連線的 REST API 提供組態詳細資訊。

注意

無法使用 AWS Glue 主控台建立 REST 連線

先決條件

嘗試設定 AWS Glue REST API 連接器之前,您需要先熟悉 REST API 的內部工作。如果您有資料來源的 REST API 文件和用於檢查請求/回應結構的工具,這很有幫助。

應識別 REST API 的下列屬性:

  • 用於對 REST 端點進行呼叫的身分驗證機制。 AWS Glue REST API 連接器支援:基本身分驗證、OAuth2 - ClientCredentials、OAuth2 - 授權碼、OAuth2 - JWT 和自訂身分驗證

  • 您可以透過 REST 端點和相關中繼資料 (例如欄位名稱和資料類型) 傳輸的實體 (資料物件)。

  • HTTP 請求和回應結構。此結構包括 HTTP 方法、端點 URL、標頭、查詢參數,以及請求內文和回應承載的格式。

  • 分頁機制。 AWS Glue REST API 連接器支援兩種分頁機制: cursor-basedoffset-based 分頁。

RegisterConnectionType

AWS Glue 根據提供的組態在 中註冊 ConnectionType。ConnectionType 資源是一種新 AWS Glue 資源,可存放有關資料來源如何解譯請求和回應的詳細資訊。目前僅支援 REST 通訊協定。它封裝了 REST API 來源的詳細資訊,例如:

  • 連線屬性 - 定義 BaseUrl 以連線至 REST API,以及在 AWS Glue CreateConnection 期間取得輸入所需的任何其他請求參數。

  • 身分驗證組態 - 定義如何驗證對 REST API 的請求。為 AWS Glue 連線類型建立連線時,會使用此組態。

  • REST 組態 - 定義 HTTP 請求和回應組態,以從 REST API 來源讀取資料。需要在全域實體層級設定下列屬性:

    • 請求方法 - 定義 REST HTTP 方法。

    • 回應組態 - 定義應如何解譯 API 回應 (包括內文中的記錄或錯誤位置)。

    • 分頁組態 - 定義 REST API 用於分頁產生的記錄的策略,以及如何傳送/擷取分頁屬性。

    • 驗證端點組態 - 定義要呼叫的端點以驗證 AWS Glue 連線。

    • 實體組態 - 定義連接器支援的 REST 實體及其結構描述。

RegisterConnectionType 請求語法

請參閱 RegisterConnectionType

註冊 REST API 連線類型後,即可用來建立已設定資料來源的連線。如需詳細說明,請參閱連線至 REST APIs