View a markdown version of this page

Cheques disponibles - AWS Glue DataBrew Guía para desarrolladores

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Cheques disponibles

En la siguiente tabla se enumeran las referencias de todas las condiciones disponibles que se pueden utilizar en las reglas. Tenga en cuenta que las condiciones agregadas no se pueden combinar con condiciones no agregadas en la misma regla.

nota

Para los usuarios del SDK, para aplicar la misma regla a varias columnas, utilice el ColumnSelectorsatributo de una regla y especifique las columnas validadas mediante sus nombres o una expresión regular. En este caso, debes usar implícita CheckExpression. Por ejemplo, “> :val” para comparar los valores de cada una de las columnas seleccionadas con el valor proporcionado. DataBrew utiliza una sintaxis implícita para la definición FilterExpressionen conjuntos de datos dinámicos. Si quiere especificar columnas para cada comprobación de forma individual, no defina el ColumnSelectorsatributo. En su lugar, proporcione una expresión explícita. Por ejemplo, “:col > :val” como CheckExpressionen una regla.

Tipo de condición Verificación de la calidad de los datos Parámetros adicionales Tipo de comparación Ejemplo de sintaxis del SDK
Condiciones de conjuntos de datos agregados Número de filas Comparación numérica con el valor personalizado

"CheckExpression": "AGG(ROWS_COUNT) > :val", "SubstitutionMap": {":val", "10000"}
Número de columnas Comparación numérica con el valor personalizado

"CheckExpression": "AGG(COLUMNS_COUNT) == :val", "SubstitutionMap": {":val", "20"}

Filas duplicadas

 Comparación numérica con un valor personalizado

"CheckExpression": "AGG(DUPLICATE_ROWS_COUNT) < :val", "SubstitutionMap": {":val", "100"}

o

"CheckExpression": "AGG(DUPLICATE_ROWS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Condiciones de estadísticas de columnas agregadas Valores faltantes Comparación numérica con un valor personalizado

"CheckExpression": "AGG(MISSING_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

o

"CheckExpression": "AGG(MISSING_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Valores duplicados Comparación numérica con un valor personalizado

"CheckExpression": "AGG(DUPLICATE_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

o

"CheckExpression": "AGG(DUPLICATE_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Valores válidos

 Comparación numérica con un valor personalizado

"CheckExpression": "AGG(VALID_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "10000"}

o

"CheckExpression": "AGG(VALID_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "95"}

Valores distintos Comparación numérica con un valor personalizado

"CheckExpression": "AGG(DISTINCT_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "1000"}

o

"CheckExpression": "AGG(DISTINCT_VALUES_PERCENTAGE) >= :val", "SubstitutionMap": {":val", "50"}

Valores únicos

 Comparación numérica con un valor personalizado

"CheckExpression": "AGG(UNIQUE_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "100"}

o

"CheckExpression": "AGG(UNIQUE_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "20"}

Valores atípicos

 Z-score umbral Comparación numérica con un valor personalizado

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_COUNT, :zscore_dev) < :val", "SubstitutionMap": {":zscore_dev": "4", ":val", "100"}

o

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Estadísticas de distribución de valores

 Nombre de las estadísticas (consulte la siguiente tabla) Comparación numérica con un valor personalizado

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

o

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

nota

Consulte la siguiente tabla para ver STAT_NAME los valores posibles

Estadísticas numéricas

 Nombre de la estadística (consulte la siguiente tabla) Comparación numérica con un valor personalizado

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

o

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

nota

Consulte la siguiente tabla para ver STAT_NAME los valores posibles
No agregado (acepta el umbral) El valor es exacto Comparación exacta con una lista de valores

"CheckExpression": ":col IN :list", "SubstitutionMap": {":col": "`size`", ":list": "[\"S\",\"M\",\"L\",\"XL\"]"}
El valor no es exacto El valor no debe coincidir exactamente con ningún valor de una lista

"CheckExpression": ":col NOT IN :list", "SubstitutionMap": {":col": "`domain`", ":list": "[\"GOV\",\"ORG\"]"}

Valores de cadena Comparación de cadenas con un valor personalizado u otra columna de cadena

"CheckExpression": ":col STARTS_WITH :val", "SubstitutionMap": {":col": "`url`", ":val": "http"}

o

"CheckExpression": ":col1 contains :col2", "SubstitutionMap": {":col1": "`url`", ":col2": "`company_name`"}

Valores numéricos Comparación numérica con un valor personalizado u otra columna numérica

"CheckExpression": ":col IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`APY`", ":val1": "0", ":val2": "10"}

o

"CheckExpression": ":col1 <= :col2", "SubstitutionMap": {":col1": "`bank_rate`", ":col2": "`fed_rate`"}

Longitud de la cadena de valores Comparación numérica con un valor personalizado u otra columna numérica

"CheckExpression": "length(:col) IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`identifier`", ":val1": "8", ":val2": "12"}

o

"CheckExpression": "length(:col1) <= :col2", "SubstitutionMap": {":col1": "`name`", ":col2": "`max_name_len`"}

Comparaciones numéricas

DataBrew admite las siguientes operaciones para la comparación numérica: Es igual a (= =), No es igual a (! =), Menor que (<), Menor que igual a (< =), Mayor que (>), Mayor que igual (> =) y Está entre (is_entre:val1 y:val2).

Comparaciones de cadenas

Se admiten las siguientes comparaciones de cadenas: empieza por, no empieza por, termina por, no termina por, contiene, no contiene, es igual, no es igual, coincide, no coincide.

En la siguiente tabla se muestran las estadísticas disponibles que puede utilizar para las estadísticas de distribución de valores y las estadísticas numéricas:

Verificación de la calidad de los datos Nombre de las estadísticas Parámetros adicionales Sintaxis del SDK
Estadísticas de distribución de valores Mínimo "CheckExpression": "AGG(MAX) < :val", "SubstitutionMap": {":val", "100"}
Máximo "CheckExpression": "AGG(MIN) > :val", "SubstitutionMap": {":val", "0"}
Median "CheckExpression": "AGG(MEDIAN) >= :val", "SubstitutionMap": {":val", "50"}
Mean "CheckExpression": "AGG(MEAN) <= :val", "SubstitutionMap": {":val", "10"}
Mode "CheckExpression": "AGG(MODE) > :val", "SubstitutionMap": {":val", "0"}
Desviación estándar "CheckExpression": "AGG(STANDARD_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Entropía "CheckExpression": "AGG(ENTROPY) > :val", "SubstitutionMap": {":val", "0"}
Estadísticas numéricas Sum "CheckExpression": "AGG(SUM) > :val", "SubstitutionMap": {":val", "0"}
Curtosis "CheckExpression": "AGG(KURTOSIS) > :val", "SubstitutionMap": {":val", "0"}
Asimetría "CheckExpression": "AGG(SKEWNESS) > :val", "SubstitutionMap": {":val", "0"}
Varianza "CheckExpression": "AGG(VARIANCE) > :val", "SubstitutionMap": {":val", "0"}
Desviación absoluta "CheckExpression": "AGG(MEDIAN_ABSOLUTE_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Cuantil Cuantil: uno de «0,25», «0,5», «0,75» "CheckExpression": "AGG(QUANTILE, :pct) > :val", "SubstitutionMap": {":pct": "0.25", ":val", "0"}