View a markdown version of this page

可用的檢查 - AWS Glue DataBrew開發人員指南

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

可用的檢查

下表列出可用於規則的所有可用條件的參考。請注意，彙總條件不能與相同規則中的非彙總條件結合。

注意

對於 SDK 使用者，若要將相同的規則套用至多個資料欄，請使用規則的 ColumnSelectors 屬性，並使用其名稱或規則表達式指定已驗證的資料欄。在此情況下，您應該使用隱含 CheckExpression。例如，“> :val”將每個所選欄中的值與提供的值進行比較。DataBrew 使用隱含語法來定義動態資料集中的 FilterExpression。如果您想要為每個檢查個別指定資料欄 (ColumnSelectors)，請勿設定 ColumnSelectors 屬性。反之，請提供明確表達式。例如，“:col > :val”作為規則中的 CheckExpression。

條件類型 資料品質檢查 額外參數 比較類型 SDK 語法範例
彙總資料集條件 資料列數 與自訂值的數值比較

"CheckExpression": "AGG(ROWS_COUNT) > :val", "SubstitutionMap": {":val", "10000"}
欄數 與自訂值的數值比較

"CheckExpression": "AGG(COLUMNS_COUNT) == :val", "SubstitutionMap": {":val", "20"}

重複的資料列

 與自訂值的數值比較

"CheckExpression": "AGG(DUPLICATE_ROWS_COUNT) < :val", "SubstitutionMap": {":val", "100"}

或

"CheckExpression": "AGG(DUPLICATE_ROWS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

彙總資料欄統計資料條件 缺少值 與自訂值的數值比較

"CheckExpression": "AGG(MISSING_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

或

"CheckExpression": "AGG(MISSING_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

重複值 與自訂值的數值比較

"CheckExpression": "AGG(DUPLICATE_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

或

"CheckExpression": "AGG(DUPLICATE_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

有效值

 與自訂值的數值比較

"CheckExpression": "AGG(VALID_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "10000"}

或

"CheckExpression": "AGG(VALID_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "95"}

不同的值 與自訂值的數值比較

"CheckExpression": "AGG(DISTINCT_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "1000"}

或

"CheckExpression": "AGG(DISTINCT_VALUES_PERCENTAGE) >= :val", "SubstitutionMap": {":val", "50"}

唯一值

 與自訂值的數值比較

"CheckExpression": "AGG(UNIQUE_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "100"}

或

"CheckExpression": "AGG(UNIQUE_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "20"}

極端值

 Z 分數閾值 與自訂值的數值比較

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_COUNT, :zscore_dev) < :val", "SubstitutionMap": {":zscore_dev": "4", ":val", "100"}

或

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

值分佈統計資料

 統計資料名稱 （請參閱下表） 與自訂值的數值比較

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

或

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

注意

如需可能STAT_NAME的值，請參閱下表

數值統計資料

 統計資料名稱 （請參閱下表） 與自訂值的數值比較

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

或

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

注意

如需可能STAT_NAME的值，請參閱下表
非彙總 （接受閾值） 值完全為 與值清單的精確比較

"CheckExpression": ":col IN :list", "SubstitutionMap": {":col": "`size`", ":list": "[\"S\",\"M\",\"L\",\"XL\"]"}
值不完全 值不應完全符合清單中的任何值

"CheckExpression": ":col NOT IN :list", "SubstitutionMap": {":col": "`domain`", ":list": "[\"GOV\",\"ORG\"]"}

字串值 與自訂值或其他字串欄的字串比較

"CheckExpression": ":col STARTS_WITH :val", "SubstitutionMap": {":col": "`url`", ":val": "http"}

或

"CheckExpression": ":col1 contains :col2", "SubstitutionMap": {":col1": "`url`", ":col2": "`company_name`"}

數值 與自訂值或其他數值欄的數值比較

"CheckExpression": ":col IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`APY`", ":val1": "0", ":val2": "10"}

或

"CheckExpression": ":col1 <= :col2", "SubstitutionMap": {":col1": "`bank_rate`", ":col2": "`fed_rate`"}

值字串長度 與自訂值或其他數值欄的數值比較

"CheckExpression": "length(:col) IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`identifier`", ":val1": "8", ":val2": "12"}

或

"CheckExpression": "length(:col1) <= :col2", "SubstitutionMap": {":col1": "`name`", ":col2": "`max_name_len`"}

數值比較

DataBrew 支援下列數值比較操作：等於 (==)、不等於 (！=)、小於 (＜)、小於等於 (<=)、大於 (＞)、大於等於 (>=) 和介於 (is_介於 ：val1 和 ：val2 之間） 之間。

字串比較

支援下列字串比較：開頭、開頭、結尾、結尾、結尾、包含、不包含、等於、不等於、相符、不相符。

下表顯示可用於值分佈統計資料和數值統計資料的可用統計資料：

資料品質檢查 統計資料名稱 額外參數 SDK 語法
值分佈統計資料 最少 "CheckExpression": "AGG(MAX) < :val", "SubstitutionMap": {":val", "100"}
最多 "CheckExpression": "AGG(MIN) > :val", "SubstitutionMap": {":val", "0"}
中位數 "CheckExpression": "AGG(MEDIAN) >= :val", "SubstitutionMap": {":val", "50"}
Mean "CheckExpression": "AGG(MEAN) <= :val", "SubstitutionMap": {":val", "10"}
Mode "CheckExpression": "AGG(MODE) > :val", "SubstitutionMap": {":val", "0"}
標準偏差 "CheckExpression": "AGG(STANDARD_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Entropy "CheckExpression": "AGG(ENTROPY) > :val", "SubstitutionMap": {":val", "0"}
數值統計資料 總和 "CheckExpression": "AGG(SUM) > :val", "SubstitutionMap": {":val", "0"}
峰度 "CheckExpression": "AGG(KURTOSIS) > :val", "SubstitutionMap": {":val", "0"}
偏斜 "CheckExpression": "AGG(SKEWNESS) > :val", "SubstitutionMap": {":val", "0"}
變異數 "CheckExpression": "AGG(VARIANCE) > :val", "SubstitutionMap": {":val", "0"}
絕對偏差 "CheckExpression": "AGG(MEDIAN_ABSOLUTE_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
分位數 分位數：'0.25'、'0.5'、'0.75' 之一 "CheckExpression": "AGG(QUANTILE, :pct) > :val", "SubstitutionMap": {":pct": "0.25", ":val", "0"}