View a markdown version of this page

Cheques disponíveis - AWS Glue DataBrew Guia do Desenvolvedor

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Cheques disponíveis

A tabela a seguir lista referências para todas as condições disponíveis que podem ser usadas em suas regras. Observe que condições agregadas não podem ser combinadas com condições não agregadas na mesma regra.

nota

Para usuários do SDK, para aplicar a mesma regra a várias colunas, use o ColumnSelectorsatributo de uma regra e especifique as colunas validadas usando seus nomes ou uma expressão regular. Nesse caso, você deve usar implícito. CheckExpression Por exemplo, “> :val” para comparar valores em cada uma das colunas selecionadas com o valor fornecido. DataBrew usa sintaxe implícita para definir FilterExpressionem conjuntos de dados dinâmicos. Se você quiser especificar colunas para cada verificação individualmente, não defina o ColumnSelectorsatributo. Em vez disso, forneça uma expressão explícita. Por exemplo, “:col > :val” como CheckExpressionem uma regra.

Tipo de condição Verificação de qualidade de dados Parâmetros adicionais Tipo de comparação Exemplo de sintaxe do SDK
Condições agregadas do conjunto de dados Número de linhas Comparação numérica com o valor personalizado

"CheckExpression": "AGG(ROWS_COUNT) > :val", "SubstitutionMap": {":val", "10000"}
Número de colunas Comparação numérica com o valor personalizado

"CheckExpression": "AGG(COLUMNS_COUNT) == :val", "SubstitutionMap": {":val", "20"}

Linhas duplicadas

 Comparação numérica com o valor personalizado

"CheckExpression": "AGG(DUPLICATE_ROWS_COUNT) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(DUPLICATE_ROWS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Condições de estatísticas de colunas agregadas Valores ausentes Comparação numérica com o valor personalizado

"CheckExpression": "AGG(MISSING_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(MISSING_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Valores duplicados Comparação numérica com o valor personalizado

"CheckExpression": "AGG(DUPLICATE_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(DUPLICATE_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Valores válidos

 Comparação numérica com o valor personalizado

"CheckExpression": "AGG(VALID_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "10000"}

or

"CheckExpression": "AGG(VALID_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "95"}

Valores distintos Comparação numérica com o valor personalizado

"CheckExpression": "AGG(DISTINCT_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "1000"}

or

"CheckExpression": "AGG(DISTINCT_VALUES_PERCENTAGE) >= :val", "SubstitutionMap": {":val", "50"}

Valores exclusivos

 Comparação numérica com o valor personalizado

"CheckExpression": "AGG(UNIQUE_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(UNIQUE_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "20"}

Valores discrepantes

 Z-score limiar Comparação numérica com o valor personalizado

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_COUNT, :zscore_dev) < :val", "SubstitutionMap": {":zscore_dev": "4", ":val", "100"}

or

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Estatísticas de distribuição de valor

 Nome da estatística (veja a tabela a seguir) Comparação numérica com o valor personalizado

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

nota

Veja a tabela a seguir para STAT_NAME valores possíveis

Estatística numérica

 Nome da estatística (veja a tabela a seguir) Comparação numérica com o valor personalizado

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

nota

Veja a tabela a seguir para STAT_NAME valores possíveis
Não agregado (aceita limite) O valor é exatamente Comparação exata com uma lista de valores

"CheckExpression": ":col IN :list", "SubstitutionMap": {":col": "`size`", ":list": "[\"S\",\"M\",\"L\",\"XL\"]"}
O valor não é exatamente O valor não deve corresponder exatamente a nenhum valor de uma lista

"CheckExpression": ":col NOT IN :list", "SubstitutionMap": {":col": "`domain`", ":list": "[\"GOV\",\"ORG\"]"}

Valores de string Comparação de string com valor personalizado ou outra coluna de string

"CheckExpression": ":col STARTS_WITH :val", "SubstitutionMap": {":col": "`url`", ":val": "http"}

or

"CheckExpression": ":col1 contains :col2", "SubstitutionMap": {":col1": "`url`", ":col2": "`company_name`"}

Valores numéricos Comparação numérica com valor personalizado ou outra coluna numérica

"CheckExpression": ":col IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`APY`", ":val1": "0", ":val2": "10"}

or

"CheckExpression": ":col1 <= :col2", "SubstitutionMap": {":col1": "`bank_rate`", ":col2": "`fed_rate`"}

Comprimento da cadeia de valores Comparação numérica com valor personalizado ou outra coluna numérica

"CheckExpression": "length(:col) IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`identifier`", ":val1": "8", ":val2": "12"}

or

"CheckExpression": "length(:col1) <= :col2", "SubstitutionMap": {":col1": "`name`", ":col2": "`max_name_len`"}

Comparações numéricas

DataBrew suporta as seguintes operações para comparação numérica: Is equals (= =), Is not equals (! =), Menor que (<), Menor que é igual (< =), Maior que (>), Maior que é igual a (> =) e Está entre (is_between:val1 e:val2).

Comparações de strings

As seguintes comparações de strings são suportadas: Começa com, Não começa com, Termina com, Não termina com, Contém, Não contém, É igual, Não é igual, Corresponde, Não corresponde.

A tabela a seguir exibe as estatísticas disponíveis que você pode usar para estatísticas de distribuição de valor e estatísticas numéricas:

Verificação de qualidade de dados Nome da estatística Parâmetros adicionais Sintaxe do SDK
Estatísticas de distribuição de valor Mín. "CheckExpression": "AGG(MAX) < :val", "SubstitutionMap": {":val", "100"}
Máx "CheckExpression": "AGG(MIN) > :val", "SubstitutionMap": {":val", "0"}
Mediana "CheckExpression": "AGG(MEDIAN) >= :val", "SubstitutionMap": {":val", "50"}
Média "CheckExpression": "AGG(MEAN) <= :val", "SubstitutionMap": {":val", "10"}
Modo "CheckExpression": "AGG(MODE) > :val", "SubstitutionMap": {":val", "0"}
Desvio padrão "CheckExpression": "AGG(STANDARD_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Entropia "CheckExpression": "AGG(ENTROPY) > :val", "SubstitutionMap": {":val", "0"}
Estatística numérica Soma "CheckExpression": "AGG(SUM) > :val", "SubstitutionMap": {":val", "0"}
Curtose "CheckExpression": "AGG(KURTOSIS) > :val", "SubstitutionMap": {":val", "0"}
Distorção "CheckExpression": "AGG(SKEWNESS) > :val", "SubstitutionMap": {":val", "0"}
Variação "CheckExpression": "AGG(VARIANCE) > :val", "SubstitutionMap": {":val", "0"}
Desvio absoluto "CheckExpression": "AGG(MEDIAN_ABSOLUTE_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Quantil Quantil: um de '0,25', '0,5', '0,75' "CheckExpression": "AGG(QUANTILE, :pct) > :val", "SubstitutionMap": {":pct": "0.25", ":val", "0"}