View a markdown version of this page

建立和使用AWS Glue DataBrew設定檔任務 - AWS Glue DataBrew開發人員指南

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

建立和使用AWS Glue DataBrew設定檔任務

設定檔任務會對資料集執行一系列評估,並將結果輸出至 Amazon S3。資料分析收集的資訊可協助您了解資料集,並決定您可能想要在配方任務中執行的資料準備步驟。

執行設定檔任務最簡單的方法是使用預設 DataBrew 設定。您可以在執行設定檔任務之前對其進行設定,以便只傳回您想要的資訊。

使用下列程序來建立 DataBrew 設定檔任務。

建立設定檔任務
  1. 登入AWS 管理主控台並開啟 DataBrew 主控台,網址為 https://https://console.aws.amazon.com/databrew/

  2. 從導覽窗格中選擇 JOBS,選擇設定檔任務索引標籤,然後選擇建立任務

  3. 輸入任務的名稱,然後選擇建立設定檔任務

  4. 針對任務輸入,提供要描述的資料集名稱。

  5. (選用) 在資料設定檔組態窗格中設定下列項目:

    • 資料集層級組態 – 為資料集中的所有資料欄設定設定檔任務的詳細資訊。

      或者,您可以開啟偵測和計數資料集中重複資料列的功能。您也可以選擇啟用相互關聯矩陣,然後選取資料欄,以查看多個資料欄中的值關聯程度。如需您可以在資料集層級設定的統計資料詳細資訊,請參閱 資料集層級的可設定統計資料。您可以在 DataBrew 主控台或使用 DataBrew API 或AWS SDKs設定統計資料。

    • 資料欄層級組態 – 使用預設設定檔組態設定,您可以選取要包含在設定檔任務中的資料欄。使用新增組態覆寫來選取要限制所收集統計資料數量的資料欄,或覆寫特定統計資料的預設組態。如需您可以在資料欄層級設定的統計資料詳細資訊,請參閱 資料欄層級的可設定統計資料。您可以在 DataBrew 主控台或使用 DataBrew API 或AWS SDKs設定統計資料。

      請確定您指定的任何組態覆寫都適用於您在設定檔任務中包含的資料欄。如果您為資料欄設定的不同覆寫之間存在衝突,則最後一個衝突覆寫具有優先順序。

  6. (選用) 您可以建立資料品質規則,並套用與此資料集相關聯的其他規則集,或移除已套用的規則集。如需資料品質驗證的詳細資訊,請參閱 在 中驗證資料品質AWS Glue DataBrew

  7. 進階任務設定窗格中,您可以為您的任務執行方式選擇更多選項:

    • 單位數量上限 – DataBrew 使用多個運算節點處理任務,並行執行。預設節點數量為 5。節點數量上限為 149。

    • 任務逾時 – 如果任務需要超過您在此設定的執行分鐘數,則會失敗並出現逾時錯誤。預設值為 2,880 分鐘或 48 小時。

    • 重試次數 – 如果任務在執行時失敗,DataBrew 可以嘗試再次執行。根據預設,不會重試任務。

    • 為任務啟用 Amazon CloudWatch Logs – 允許 DataBrew 將診斷資訊發佈至 CloudWatch Logs。這些日誌可用於故障診斷目的,或進一步了解任務的處理方式。

  8. 對於關聯的排程,您可以套用 DataBrew 任務排程,讓您的任務在特定時間或重複執行。如需詳細資訊,請參閱使用排程自動化任務執行

  9. 設定如您想要,請選擇建立任務。或者,如果您想要立即執行任務,請選擇建立並執行任務