View a markdown version of this page

Chèques disponibles - AWS Glue DataBrew Guide du développeur

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Chèques disponibles

Le tableau suivant répertorie les références de toutes les conditions disponibles qui peuvent être utilisées dans vos règles. Notez que les conditions agrégées ne peuvent pas être combinées avec des conditions non agrégées dans la même règle.

Note

Pour les utilisateurs du SDK, pour appliquer la même règle à plusieurs colonnes, utilisez l'ColumnSelectorsattribut d'une règle et spécifiez les colonnes validées en utilisant leur nom ou une expression régulière. Dans ce cas, vous devez utiliser l'implicite CheckExpression. Par exemple, “> :val” pour comparer les valeurs de chacune des colonnes sélectionnées avec la valeur fournie. DataBrew utilise une syntaxe implicite pour la définition FilterExpressiondans les ensembles de données dynamiques. Si vous souhaitez spécifier une ou plusieurs colonnes pour chaque contrôle individuellement, ne définissez pas l'ColumnSelectorsattribut. Fournissez plutôt une expression explicite. Par exemple, “:col > :val” en tant que CheckExpressiondans une règle.

Type de condition Vérification de la qualité des données Paramètres supplémentaires Type de comparaison Exemple de syntaxe du SDK
Conditions du jeu de données agrégé Nombre de lignes Comparaison numérique par rapport à une valeur personnalisée

"CheckExpression": "AGG(ROWS_COUNT) > :val", "SubstitutionMap": {":val", "10000"}
Nombre de colonnes Comparaison numérique par rapport à une valeur personnalisée

"CheckExpression": "AGG(COLUMNS_COUNT) == :val", "SubstitutionMap": {":val", "20"}

Lignes dupliquées.

 Comparaison numérique par rapport à une valeur personnalisée

"CheckExpression": "AGG(DUPLICATE_ROWS_COUNT) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(DUPLICATE_ROWS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Conditions statistiques des colonnes agrégées Valeurs manquantes Comparaison numérique par rapport à une valeur personnalisée

"CheckExpression": "AGG(MISSING_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(MISSING_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Valeurs dupliquées Comparaison numérique par rapport à une valeur personnalisée

"CheckExpression": "AGG(DUPLICATE_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(DUPLICATE_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Valeurs valides

 Comparaison numérique par rapport à une valeur personnalisée

"CheckExpression": "AGG(VALID_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "10000"}

or

"CheckExpression": "AGG(VALID_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "95"}

Des valeurs distinctes Comparaison numérique par rapport à une valeur personnalisée

"CheckExpression": "AGG(DISTINCT_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "1000"}

or

"CheckExpression": "AGG(DISTINCT_VALUES_PERCENTAGE) >= :val", "SubstitutionMap": {":val", "50"}

Des valeurs uniques

 Comparaison numérique par rapport à une valeur personnalisée

"CheckExpression": "AGG(UNIQUE_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(UNIQUE_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "20"}

Valeurs aberrantes

 Z-score seuil Comparaison numérique par rapport à une valeur personnalisée

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_COUNT, :zscore_dev) < :val", "SubstitutionMap": {":zscore_dev": "4", ":val", "100"}

or

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Statistiques de distribution de valeur

 Nom des statistiques (voir le tableau suivant) Comparaison numérique par rapport à une valeur personnalisée

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

Note

Voir le tableau suivant pour les STAT_NAME valeurs possibles

Statistiques numériques

 Nom des statistiques (voir le tableau suivant) Comparaison numérique par rapport à une valeur personnalisée

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

or

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

Note

Voir le tableau suivant pour les STAT_NAME valeurs possibles
Non agrégé (accepte le seuil) La valeur est exactement Comparaison exacte par rapport à une liste de valeurs

"CheckExpression": ":col IN :list", "SubstitutionMap": {":col": "`size`", ":list": "[\"S\",\"M\",\"L\",\"XL\"]"}
La valeur n'est pas exactement La valeur ne doit correspondre exactement à aucune valeur d'une liste

"CheckExpression": ":col NOT IN :list", "SubstitutionMap": {":col": "`domain`", ":list": "[\"GOV\",\"ORG\"]"}

Valeurs de chaîne Comparaison de chaînes par rapport à une valeur personnalisée ou à une autre colonne de chaînes

"CheckExpression": ":col STARTS_WITH :val", "SubstitutionMap": {":col": "`url`", ":val": "http"}

or

"CheckExpression": ":col1 contains :col2", "SubstitutionMap": {":col1": "`url`", ":col2": "`company_name`"}

Valeur numériques Comparaison numérique avec une valeur personnalisée ou une autre colonne numérique

"CheckExpression": ":col IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`APY`", ":val1": "0", ":val2": "10"}

or

"CheckExpression": ":col1 <= :col2", "SubstitutionMap": {":col1": "`bank_rate`", ":col2": "`fed_rate`"}

Longueur de la chaîne de valeurs Comparaison numérique avec une valeur personnalisée ou une autre colonne numérique

"CheckExpression": "length(:col) IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`identifier`", ":val1": "8", ":val2": "12"}

or

"CheckExpression": "length(:col1) <= :col2", "SubstitutionMap": {":col1": "`name`", ":col2": "`max_name_len`"}

Comparaisons numériques

DataBrew prend en charge les opérations suivantes pour la comparaison numérique : Is equals (= =), Is not equals (! =), Inférieur à (<), Inférieur à (< =), Supérieur à (>), Supérieur à (> =) et Est compris entre (is_between:val1 et:val2).

Comparaisons de chaînes

Les comparaisons de chaînes suivantes sont prises en charge : commence par, ne commence pas par, se termine par, ne se termine pas par, contient, ne contient pas, est égal, n'est pas égal, correspond, ne correspond pas.

Le tableau suivant présente les statistiques disponibles que vous pouvez utiliser pour les statistiques de distribution de valeurs et les statistiques numériques :

Vérification de la qualité des données Nom des statistiques Paramètres supplémentaires Syntaxe du SDK
Statistiques de distribution de valeur Min "CheckExpression": "AGG(MAX) < :val", "SubstitutionMap": {":val", "100"}
Max "CheckExpression": "AGG(MIN) > :val", "SubstitutionMap": {":val", "0"}
Médiane "CheckExpression": "AGG(MEDIAN) >= :val", "SubstitutionMap": {":val", "50"}
Mean "CheckExpression": "AGG(MEAN) <= :val", "SubstitutionMap": {":val", "10"}
Mode "CheckExpression": "AGG(MODE) > :val", "SubstitutionMap": {":val", "0"}
Écart-type standard "CheckExpression": "AGG(STANDARD_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Entropie "CheckExpression": "AGG(ENTROPY) > :val", "SubstitutionMap": {":val", "0"}
Statistiques numériques Somme "CheckExpression": "AGG(SUM) > :val", "SubstitutionMap": {":val", "0"}
Kurtosis "CheckExpression": "AGG(KURTOSIS) > :val", "SubstitutionMap": {":val", "0"}
Asychité "CheckExpression": "AGG(SKEWNESS) > :val", "SubstitutionMap": {":val", "0"}
Variance "CheckExpression": "AGG(VARIANCE) > :val", "SubstitutionMap": {":val", "0"}
Déviation absolue "CheckExpression": "AGG(MEDIAN_ABSOLUTE_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Quantile Quantile : l'un des nombres suivants : « 0,25 », « 0,5 », « 0,75 » "CheckExpression": "AGG(QUANTILE, :pct) > :val", "SubstitutionMap": {":pct": "0.25", ":val", "0"}