View a markdown version of this page

什麼是AWS Glue DataBrew? - AWS Glue DataBrew開發人員指南

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

什麼是AWS Glue DataBrew?

AWS Glue DataBrew是一種視覺化資料準備工具,可讓使用者清除和標準化資料,而無需撰寫任何程式碼。相較於自訂開發的資料準備,使用 DataBrew 有助於將準備資料用於分析和機器學習 (ML) 所需的時間縮短高達 80%。您可以從超過 250 個現成轉換中選擇自動化資料準備任務,例如篩選異常、將資料轉換為標準格式,以及更正無效的值。

使用 DataBrew,商業分析師、資料科學家和資料工程師可以更輕鬆地協作,從原始資料中取得洞見。由於 DataBrew 是無伺服器,無論您的技術層級為何,您都可以探索和轉換數 TB 的原始資料,而不需要建立叢集或管理任何基礎設施。

透過直覺式 DataBrew 界面,您可以互動方式探索、視覺化、清理和轉換原始資料。DataBrew 提供智慧建議,協助您識別難以找到且耗時修正的資料品質問題。透過 DataBrew 準備資料,您可以利用時間對結果採取行動,並更快速地迭代。您可以將轉換儲存為配方中的步驟,稍後可以更新或重複使用其他資料集,並持續部署。

下圖顯示 DataBrew 如何在高階運作。

有關 DataBrew 如何運作的簡單圖表。DataBrew 可以視覺化方式清理、準備和轉換資料,而不需要編寫程式碼。方塊顯示從 Amazon S3 輸入 DataBrew 的資料。它會顯示 DataBrew 可以執行的幾個轉換方塊。轉換方塊包括下列項目:格式化、清理和標準化資料。重組和轉換資料。處理遺漏和無效的資料。處理分類變數。處理數值變數。 使用自然語言處理。圖表顯示將資料匯出至 S3 做為預備資料集。

若要使用 DataBrew,您可以建立專案並連線至您的資料。在專案工作區中,您會在類似網格的視覺化界面中看到資料。在這裡,您可以探索資料並查看價值分佈和圖表,以了解其設定檔。

若要準備資料,您可以從超過 250 point-and-click轉換中進行選擇。這些包括移除 null、取代遺失值、修正結構描述不一致、根據函數建立資料欄等等。您也可以使用轉換來套用自然語言處理 (NLP) 技術,將句子分割為片語。立即預覽會顯示轉換前後的一部分資料,因此您可以在將其套用至整個資料集之前修改配方。

DataBrew 在資料集上執行配方後,輸出會儲存在 Amazon Simple Storage Service (Amazon S3) 中。清除且準備好的資料集位於 Amazon S3 之後,另一個資料儲存或資料管理系統就可以擷取該資料集。