View a markdown version of this page

Verfügbare Schecks - AWS Glue DataBrew Entwicklerhandbuch

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verfügbare Schecks

In der folgenden Tabelle sind Verweise auf alle verfügbaren Bedingungen aufgeführt, die in Ihren Regeln verwendet werden können. Beachten Sie, dass aggregierte Bedingungen nicht mit nicht aggregierten Bedingungen in derselben Regel kombiniert werden können.

Anmerkung

Wenn SDK-Benutzer dieselbe Regel auf mehrere Spalten anwenden möchten, verwenden Sie das ColumnSelectorsAttribut einer Regel und geben Sie validierte Spalten entweder mit ihren Namen oder einem regulären Ausdruck an. In diesem Fall sollten Sie implizit CheckExpressionverwenden. Zum Beispiel, “> :val” um Werte in jeder der ausgewählten Spalten mit dem angegebenen Wert zu vergleichen. DataBrew verwendet implizite Syntax für die Definition FilterExpressionin dynamischen Datensätzen. Wenn Sie Spalte (n) für jede Prüfung einzeln angeben möchten, legen Sie das ColumnSelectorsAttribut nicht fest. Geben Sie stattdessen einen expliziten Ausdruck an. Zum Beispiel “:col > :val” als CheckExpressionin einer Regel.

Bedingungstyp Überprüfung der Datenqualität Zusätzliche Parameter Vergleichstyp Beispiel für eine SDK-Syntax
Aggregieren Sie die Bedingungen für Datensätze Anzahl der Zeilen Numerischer Vergleich mit benutzerdefiniertem Wert

"CheckExpression": "AGG(ROWS_COUNT) > :val", "SubstitutionMap": {":val", "10000"}
Anzahl der Spalten Numerischer Vergleich mit benutzerdefiniertem Wert

"CheckExpression": "AGG(COLUMNS_COUNT) == :val", "SubstitutionMap": {":val", "20"}

Doppelte Zeilen

 Numerischer Vergleich mit benutzerdefiniertem Wert

"CheckExpression": "AGG(DUPLICATE_ROWS_COUNT) < :val", "SubstitutionMap": {":val", "100"}

oder

"CheckExpression": "AGG(DUPLICATE_ROWS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Aggregieren Sie die Bedingungen für Spaltenstatistiken Fehlende Werte Numerischer Vergleich mit benutzerdefiniertem Wert

"CheckExpression": "AGG(MISSING_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

oder

"CheckExpression": "AGG(MISSING_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Doppelte Werte Numerischer Vergleich mit benutzerdefinierten Werten

"CheckExpression": "AGG(DUPLICATE_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

oder

"CheckExpression": "AGG(DUPLICATE_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Zulässige Werte

 Numerischer Vergleich mit benutzerdefiniertem Wert

"CheckExpression": "AGG(VALID_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "10000"}

oder

"CheckExpression": "AGG(VALID_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "95"}

Eindeutige Werte Numerischer Vergleich mit benutzerdefinierten Werten

"CheckExpression": "AGG(DISTINCT_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "1000"}

oder

"CheckExpression": "AGG(DISTINCT_VALUES_PERCENTAGE) >= :val", "SubstitutionMap": {":val", "50"}

Eindeutige Werte

 Numerischer Vergleich mit benutzerdefinierten Werten

"CheckExpression": "AGG(UNIQUE_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "100"}

oder

"CheckExpression": "AGG(UNIQUE_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "20"}

Ausreißer

 Z-score Schwellenwert Numerischer Vergleich mit benutzerdefiniertem Wert

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_COUNT, :zscore_dev) < :val", "SubstitutionMap": {":zscore_dev": "4", ":val", "100"}

oder

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Statistik der Wertverteilung

 Name der Statistik (siehe nächste Tabelle) Numerischer Vergleich mit benutzerdefiniertem Wert

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

oder

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

Anmerkung

Mögliche STAT_NAME Werte finden Sie in der nächsten Tabelle

Numerische Statistik

 Name der Statistik (siehe nächste Tabelle) Numerischer Vergleich mit benutzerdefiniertem Wert

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

oder

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

Anmerkung

Mögliche STAT_NAME Werte finden Sie in der nächsten Tabelle
Nicht aggregiert (akzeptiert Schwellenwert) Der Wert ist genau Exakter Vergleich mit einer Werteliste

"CheckExpression": ":col IN :list", "SubstitutionMap": {":col": "`size`", ":list": "[\"S\",\"M\",\"L\",\"XL\"]"}
Der Wert ist nicht exakt Der Wert sollte nicht exakt mit einem Wert aus einer Liste übereinstimmen

"CheckExpression": ":col NOT IN :list", "SubstitutionMap": {":col": "`domain`", ":list": "[\"GOV\",\"ORG\"]"}

Zeichenfolgenwerte Vergleich einer Zeichenfolge mit einem benutzerdefinierten Wert oder einer anderen Zeichenfolgenspalte

"CheckExpression": ":col STARTS_WITH :val", "SubstitutionMap": {":col": "`url`", ":val": "http"}

oder

"CheckExpression": ":col1 contains :col2", "SubstitutionMap": {":col1": "`url`", ":col2": "`company_name`"}

Numerische Werte Numerischer Vergleich mit einem benutzerdefinierten Wert oder einer anderen numerischen Spalte

"CheckExpression": ":col IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`APY`", ":val1": "0", ":val2": "10"}

oder

"CheckExpression": ":col1 <= :col2", "SubstitutionMap": {":col1": "`bank_rate`", ":col2": "`fed_rate`"}

Länge der Wertzeichenfolge Numerischer Vergleich mit einem benutzerdefinierten Wert oder einer anderen numerischen Spalte

"CheckExpression": "length(:col) IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`identifier`", ":val1": "8", ":val2": "12"}

oder

"CheckExpression": "length(:col1) <= :col2", "SubstitutionMap": {":col1": "`name`", ":col2": "`max_name_len`"}

Numerische Vergleiche

DataBrew unterstützt die folgenden Operationen für numerische Vergleiche: Ist gleich (= =), Ist nicht gleich (! =), Kleiner als (<), Weniger als gleich (< =), Größer als (>), Größer als gleich (> =) und Liegt zwischen (is_between: val1 und:val2).

Vergleiche von Zeichenketten

Die folgenden Zeichenfolgenvergleiche werden unterstützt: Beginnt mit, Beginnt nicht mit, Endet mit, Endet nicht mit, Enthält, enthält nicht, Ist gleich, Ist nicht gleich, Stimmt überein, Stimmt nicht überein.

In der folgenden Tabelle werden verfügbare Statistiken angezeigt, die Sie für Wertverteilungsstatistiken und numerische Statistiken verwenden können:

Überprüfung der Datenqualität Name der Statistik Zusätzliche Parameter SDK-Syntax
Statistiken zur Wertverteilung Min "CheckExpression": "AGG(MAX) < :val", "SubstitutionMap": {":val", "100"}
Max "CheckExpression": "AGG(MIN) > :val", "SubstitutionMap": {":val", "0"}
Median "CheckExpression": "AGG(MEDIAN) >= :val", "SubstitutionMap": {":val", "50"}
Mean "CheckExpression": "AGG(MEAN) <= :val", "SubstitutionMap": {":val", "10"}
Mode "CheckExpression": "AGG(MODE) > :val", "SubstitutionMap": {":val", "0"}
Standardabweichung "CheckExpression": "AGG(STANDARD_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Entropie "CheckExpression": "AGG(ENTROPY) > :val", "SubstitutionMap": {":val", "0"}
Numerische Statistik Summe "CheckExpression": "AGG(SUM) > :val", "SubstitutionMap": {":val", "0"}
Kurtosis "CheckExpression": "AGG(KURTOSIS) > :val", "SubstitutionMap": {":val", "0"}
Schiefheit "CheckExpression": "AGG(SKEWNESS) > :val", "SubstitutionMap": {":val", "0"}
Varianz "CheckExpression": "AGG(VARIANCE) > :val", "SubstitutionMap": {":val", "0"}
Absolute Abweichung "CheckExpression": "AGG(MEDIAN_ABSOLUTE_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Quantil Quantil: eins von '0,25', '0,5', '0,75' "CheckExpression": "AGG(QUANTILE, :pct) > :val", "SubstitutionMap": {":pct": "0.25", ":val", "0"}