View a markdown version of this page

Controlli disponibili - AWS Glue DataBrew Guida per gli sviluppatori

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Controlli disponibili

La tabella seguente elenca i riferimenti per tutte le condizioni disponibili che possono essere utilizzate nelle regole. Tieni presente che le condizioni aggregate non possono essere combinate con condizioni non aggregate nella stessa regola.

Nota

Per gli utenti SDK, per applicare la stessa regola a più colonne, utilizza l'ColumnSelectorsattributo di una regola e specifica le colonne convalidate utilizzando i loro nomi o un'espressione regolare. In questo caso, dovresti usare l'implicito. CheckExpression Ad esempio, “> :val” per confrontare i valori in ciascuna delle colonne selezionate con il valore fornito. DataBrew utilizza la sintassi implicita per la definizione FilterExpressionin set di dati dinamici. Se desideri specificare una o più colonne per ogni controllo singolarmente, non impostare l'attributo. ColumnSelectors Fornite invece un'espressione esplicita. Ad esempio, “:col > :val” come previsto da CheckExpressionuna regola.

Tipo di condizioni Controllo della qualità dei dati Parametri aggiuntivi Tipo di confronto Esempio di sintassi SDK
Condizioni aggregate del set di dati Numero di righe Confronto numerico con un valore personalizzato

"CheckExpression": "AGG(ROWS_COUNT) > :val", "SubstitutionMap": {":val", "10000"}
Numero di colonne Confronto numerico con un valore personalizzato

"CheckExpression": "AGG(COLUMNS_COUNT) == :val", "SubstitutionMap": {":val", "20"}

Righe duplicate

 Confronto numerico con un valore personalizzato

"CheckExpression": "AGG(DUPLICATE_ROWS_COUNT) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(DUPLICATE_ROWS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Condizioni statistiche aggregate delle colonne Valori mancanti Confronto numerico con un valore personalizzato

"CheckExpression": "AGG(MISSING_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(MISSING_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Valori duplicati Confronto numerico con un valore personalizzato

"CheckExpression": "AGG(DUPLICATE_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(DUPLICATE_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Valori validi

 Confronto numerico con un valore personalizzato

"CheckExpression": "AGG(VALID_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "10000"}

or

"CheckExpression": "AGG(VALID_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "95"}

Valori distinti Confronto numerico con un valore personalizzato

"CheckExpression": "AGG(DISTINCT_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "1000"}

or

"CheckExpression": "AGG(DISTINCT_VALUES_PERCENTAGE) >= :val", "SubstitutionMap": {":val", "50"}

Valori unici

 Confronto numerico con un valore personalizzato

"CheckExpression": "AGG(UNIQUE_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(UNIQUE_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "20"}

Valori anomali

 Z-score soglia Confronto numerico con un valore personalizzato

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_COUNT, :zscore_dev) < :val", "SubstitutionMap": {":zscore_dev": "4", ":val", "100"}

or

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Statistiche sulla distribuzione del valore

 Nome delle statistiche (vedi tabella successiva) Confronto numerico con un valore personalizzato

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

Nota

Vedi la tabella successiva per i valori possibili STAT_NAME

Statistiche numeriche

 Nome delle statistiche (vedi tabella successiva) Confronto numerico con un valore personalizzato

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

Nota

Vedi la tabella successiva per i valori possibili STAT_NAME
Non aggregato (accetta la soglia) Il valore è esattamente Confronto esatto con un elenco di valori

"CheckExpression": ":col IN :list", "SubstitutionMap": {":col": "`size`", ":list": "[\"S\",\"M\",\"L\",\"XL\"]"}
Il valore non è esattamente Il valore non deve corrispondere esattamente a nessun valore di un elenco

"CheckExpression": ":col NOT IN :list", "SubstitutionMap": {":col": "`domain`", ":list": "[\"GOV\",\"ORG\"]"}

Valori di stringa Confronto di stringhe con un valore personalizzato o un'altra colonna di stringhe

"CheckExpression": ":col STARTS_WITH :val", "SubstitutionMap": {":col": "`url`", ":val": "http"}

or

"CheckExpression": ":col1 contains :col2", "SubstitutionMap": {":col1": "`url`", ":col2": "`company_name`"}

Valori numerici Confronto numerico con un valore personalizzato o un'altra colonna numerica

"CheckExpression": ":col IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`APY`", ":val1": "0", ":val2": "10"}

or

"CheckExpression": ":col1 <= :col2", "SubstitutionMap": {":col1": "`bank_rate`", ":col2": "`fed_rate`"}

Lunghezza della stringa di valori Confronto numerico con un valore personalizzato o un'altra colonna numerica

"CheckExpression": "length(:col) IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`identifier`", ":val1": "8", ":val2": "12"}

or

"CheckExpression": "length(:col1) <= :col2", "SubstitutionMap": {":col1": "`name`", ":col2": "`max_name_len`"}

Confronti numerici

DataBrew supporta le seguenti operazioni per il confronto numerico: Is equals (= =), Is not equals (! =), Minore di (<), Minore di uguale (< =), Maggiore di (>), Maggiore di (> =) e È compreso tra (is_between:val1 e:val2).

Confronti tra stringhe

Sono supportati i seguenti confronti tra stringhe: Inizia con, Non inizia con, Termina con, Non finisce con, Contiene, Non contiene, È uguale, Non è uguale, Corrisponde, Non corrisponde.

La tabella seguente mostra le statistiche disponibili che è possibile utilizzare per le statistiche sulla distribuzione dei valori e le statistiche numeriche:

Controllo della qualità dei dati Nome delle statistiche Parametri aggiuntivi Sintassi SDK
Statistiche sulla distribuzione del valore Min "CheckExpression": "AGG(MAX) < :val", "SubstitutionMap": {":val", "100"}
Max "CheckExpression": "AGG(MIN) > :val", "SubstitutionMap": {":val", "0"}
Mediana "CheckExpression": "AGG(MEDIAN) >= :val", "SubstitutionMap": {":val", "50"}
Media "CheckExpression": "AGG(MEAN) <= :val", "SubstitutionMap": {":val", "10"}
Modalità "CheckExpression": "AGG(MODE) > :val", "SubstitutionMap": {":val", "0"}
Deviazione standard "CheckExpression": "AGG(STANDARD_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Entropia "CheckExpression": "AGG(ENTROPY) > :val", "SubstitutionMap": {":val", "0"}
Statistiche numeriche Somma "CheckExpression": "AGG(SUM) > :val", "SubstitutionMap": {":val", "0"}
Curtosi "CheckExpression": "AGG(KURTOSIS) > :val", "SubstitutionMap": {":val", "0"}
Asimmetria "CheckExpression": "AGG(SKEWNESS) > :val", "SubstitutionMap": {":val", "0"}
Varianza "CheckExpression": "AGG(VARIANCE) > :val", "SubstitutionMap": {":val", "0"}
Deviazione assoluta "CheckExpression": "AGG(MEDIAN_ABSOLUTE_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Quantile Quantile: uno tra «0,25», «0,5», «0,75» "CheckExpression": "AGG(QUANTILE, :pct) > :val", "SubstitutionMap": {":pct": "0.25", ":val", "0"}