View a markdown version of this page

Cek yang tersedia - AWS Glue DataBrew Panduan Developer

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Cek yang tersedia

Tabel berikut mencantumkan referensi untuk semua kondisi yang tersedia yang dapat digunakan dalam aturan Anda. Perhatikan bahwa kondisi agregat tidak dapat digabungkan dengan kondisi non-agregat dalam aturan yang sama.

catatan

Untuk pengguna SDK, untuk menerapkan aturan yang sama ke beberapa kolom, gunakan ColumnSelectorsatribut Aturan dan tentukan kolom yang divalidasi menggunakan nama atau ekspresi reguler. Dalam hal ini, Anda harus menggunakan implisit CheckExpression. Misalnya, “> :val” untuk membandingkan nilai di setiap kolom yang dipilih dengan nilai yang diberikan. DataBrew menggunakan sintaks implisit untuk mendefinisikan FilterExpressiondalam kumpulan data dinamis. Jika Anda ingin menentukan kolom untuk setiap pemeriksaan satu per satu, jangan atur ColumnSelectorsatribut. Sebaliknya, berikan ekspresi eksplisit. Misalnya, “:col > :val” seperti CheckExpressiondalam Aturan.

Jenis syarat Pemeriksaan kualitas data Parameter tambahan Jenis perbandingan Contoh sintaks SDK
Kondisi kumpulan data agregat Jumlah baris Perbandingan numerik terhadap nilai kustom

"CheckExpression": "AGG(ROWS_COUNT) > :val", "SubstitutionMap": {":val", "10000"}
Jumlah kolom Perbandingan numerik terhadap nilai kustom

"CheckExpression": "AGG(COLUMNS_COUNT) == :val", "SubstitutionMap": {":val", "20"}

Baris duplikat

 Perbandingan numerik terhadap nilai kustom

"CheckExpression": "AGG(DUPLICATE_ROWS_COUNT) < :val", "SubstitutionMap": {":val", "100"}

atau

"CheckExpression": "AGG(DUPLICATE_ROWS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Kondisi statistik kolom agregat Nilai yang hilang Perbandingan numerik terhadap nilai kustom

"CheckExpression": "AGG(MISSING_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

atau

"CheckExpression": "AGG(MISSING_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Nilai duplikat Perbandingan numerik terhadap nilai kustom

"CheckExpression": "AGG(DUPLICATE_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

atau

"CheckExpression": "AGG(DUPLICATE_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Nilai valid

 Perbandingan numerik terhadap nilai kustom

"CheckExpression": "AGG(VALID_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "10000"}

atau

"CheckExpression": "AGG(VALID_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "95"}

Nilai yang berbeda Perbandingan numerik terhadap nilai kustom

"CheckExpression": "AGG(DISTINCT_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "1000"}

atau

"CheckExpression": "AGG(DISTINCT_VALUES_PERCENTAGE) >= :val", "SubstitutionMap": {":val", "50"}

Nilai unik

 Perbandingan numerik terhadap nilai kustom

"CheckExpression": "AGG(UNIQUE_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "100"}

atau

"CheckExpression": "AGG(UNIQUE_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "20"}

Outlier

 Z-score ambang Perbandingan numerik terhadap nilai kustom

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_COUNT, :zscore_dev) < :val", "SubstitutionMap": {":zscore_dev": "4", ":val", "100"}

atau

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

Statistik distribusi nilai

 Nama statistik (lihat tabel berikutnya) Perbandingan numerik terhadap nilai kustom

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

atau

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

catatan

Lihat tabel berikutnya untuk kemungkinan STAT_NAME nilai

Statistik numerik

 Nama statistik (lihat tabel berikutnya) Perbandingan numerik terhadap nilai kustom

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

atau

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

catatan

Lihat tabel berikutnya untuk kemungkinan STAT_NAME nilai
Non agregat (menerima ambang batas) Nilai persis Perbandingan yang tepat terhadap daftar nilai

"CheckExpression": ":col IN :list", "SubstitutionMap": {":col": "`size`", ":list": "[\"S\",\"M\",\"L\",\"XL\"]"}
Nilai tidak persis Nilai seharusnya tidak sama persis dengan nilai apa pun dari daftar

"CheckExpression": ":col NOT IN :list", "SubstitutionMap": {":col": "`domain`", ":list": "[\"GOV\",\"ORG\"]"}

Nilai string Perbandingan string terhadap nilai kustom atau kolom string lainnya

"CheckExpression": ":col STARTS_WITH :val", "SubstitutionMap": {":col": "`url`", ":val": "http"}

atau

"CheckExpression": ":col1 contains :col2", "SubstitutionMap": {":col1": "`url`", ":col2": "`company_name`"}

Nilai numerik Perbandingan numerik terhadap nilai kustom atau kolom numerik lainnya

"CheckExpression": ":col IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`APY`", ":val1": "0", ":val2": "10"}

atau

"CheckExpression": ":col1 <= :col2", "SubstitutionMap": {":col1": "`bank_rate`", ":col2": "`fed_rate`"}

Nilai panjang string Perbandingan numerik terhadap nilai kustom atau kolom numerik lainnya

"CheckExpression": "length(:col) IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`identifier`", ":val1": "8", ":val2": "12"}

atau

"CheckExpression": "length(:col1) <= :col2", "SubstitutionMap": {":col1": "`name`", ":col2": "`max_name_len`"}

Perbandingan numerik

DataBrew mendukung operasi berikut untuk perbandingan numerik: Apakah sama (= =), Tidak sama (! =), Kurang dari (<), Kurang dari sama (< =), Lebih besar dari (>), Lebih besar dari sama (> =) dan Adalah antara (is_between:val1 dan:val2).

Perbandingan string

Perbandingan string berikut didukung: Dimulai dengan, Tidak dimulai dengan, Berakhir dengan, Tidak diakhiri dengan, Berisi, Tidak mengandung, Sama dengan, Tidak sama, Cocokkan, Tidak cocok.

Tabel berikut menampilkan statistik yang tersedia yang dapat Anda gunakan untuk statistik distribusi Nilai dan statistik numerik:

Pemeriksaan kualitas data Nama statistik Parameter tambahan Sintaks SDK
Statistik distribusi nilai Min "CheckExpression": "AGG(MAX) < :val", "SubstitutionMap": {":val", "100"}
Maks "CheckExpression": "AGG(MIN) > :val", "SubstitutionMap": {":val", "0"}
Median "CheckExpression": "AGG(MEDIAN) >= :val", "SubstitutionMap": {":val", "50"}
Berarti "CheckExpression": "AGG(MEAN) <= :val", "SubstitutionMap": {":val", "10"}
Modus "CheckExpression": "AGG(MODE) > :val", "SubstitutionMap": {":val", "0"}
Standar deviasi "CheckExpression": "AGG(STANDARD_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Entropi "CheckExpression": "AGG(ENTROPY) > :val", "SubstitutionMap": {":val", "0"}
Statistik numerik Jumlah "CheckExpression": "AGG(SUM) > :val", "SubstitutionMap": {":val", "0"}
Kurtosis "CheckExpression": "AGG(KURTOSIS) > :val", "SubstitutionMap": {":val", "0"}
Kemiringan "CheckExpression": "AGG(SKEWNESS) > :val", "SubstitutionMap": {":val", "0"}
Varians "CheckExpression": "AGG(VARIANCE) > :val", "SubstitutionMap": {":val", "0"}
Deviasi absolut "CheckExpression": "AGG(MEDIAN_ABSOLUTE_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
Kuantil Kuantil: salah satu dari '0,25', '0,5', '0,75' "CheckExpression": "AGG(QUANTILE, :pct) > :val", "SubstitutionMap": {":pct": "0.25", ":val", "0"}