Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membangun konfigurasi pekerjaan profil secara terprogram di AWS Glue DataBrew

Di bagian ini, Anda dapat menemukan deskripsi langkah dan fungsi pekerjaan profil yang dapat Anda gunakan secara terprogram. Anda dapat menggunakannya baik dari AWS Command Line Interface(AWS CLI) atau dengan menggunakan salah satu AWS SDK.

Dalam pekerjaan profil, Anda dapat menyesuaikan konfigurasi untuk mengontrol cara DataBrew mengevaluasi kumpulan data Anda. Anda dapat menerapkan konfigurasi ke kumpulan data atau menerapkannya ke kolom tertentu. Anda dapat membangun konfigurasi saat membuat pekerjaan profil, dan kemudian memperbaruinya kapan saja.

Struktur konfigurasi profil mencakup empat bagian:

Berikut adalah contohnya.

{
    "ProfileColumns": [
        {
            "Name": "example"
        },
        {
            "Regex": "example.*"
        }
    ],
    "DatasetStatisticsConfiguration": {
        "IncludedStatistics": [
            "CORRELATION"
        ],
        "Overrides": [
            {
                "Statistic": "CORRELATION",
                "Parameters": {
                    "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
                }
            }
        ]
    },
    "ColumnStatisticsConfigurations": [
        {
            "Selectors": [
                {
                    "Name": "example"
                }
            ],
            "Statistics": {
                "IncludedStatistics": [
                    "CORRELATION",
                    "DUPLICATE_ROWS_COUNT"
                ],
                "Overrides": [
                    {
                        "Statistic": "VALUE_DISTRIBUTION",
                        "Parameters": {
                            "binNumber": "10"
                        }
                    }
                ]
            }
        }
    ]
}

ProfileColumns bagian

Di ProfileColumns bagian struktur Anda, atur kolom dari kumpulan data yang ingin Anda evaluasi dalam pekerjaan profil Anda. ProfileColumnsadalah daftar pemilih kolom (Selectors). Anda dapat menentukan nama kolom atau ekspresi reguler dalam pemilih kolom. Berikut contohnya.

"ProfileColumns": [{"Name": "example"}, {"Regex": "example.*"}]

Kapan ProfileColumns ditentukan, hanya kolom yang namanya cocok dengan nama atau ekspresi reguler ProfileColumns yang disertakan dalam pekerjaan profil. Jika pekerjaan profil tidak mendukung tipe data kolom yang dipilih, DataBrew lewati kolom yang dipilih selama pekerjaan dijalankan.

Jika tidak ProfileColumns ditentukan, pekerjaan profil mengevaluasi semua kolom yang didukung. Kolom yang didukung adalah kolom yang berisi data tipe data yang didukung: ByteTypeShortType,IntegerType,LongType,FloatType,DoubleType,,String, atauBoolean.

DatasetStatisticsConfiguration bagian

Di DatasetStatisticsConfiguration bagian struktur Anda, Anda dapat membangun konfigurasi untuk evaluasi antar kolom. Konfigurasi termasuk IncludedStatistics danOverrides. Berikut contohnya.

"DatasetStatisticsConfiguration": {
    "IncludedStatistics": ["CORRELATION"],
    "Overrides": [
        {
            "Statistic": "CORRELATION",
            "Parameters": {
                "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
            }
        }
    ]
}

Anda dapat memilih evaluasi yang ingin Anda miliki dengan menambahkan nama evaluasi. IncludedStatistics Berikut contohnya.

"IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]

Saat Anda menentukanIncludedStatistics, hanya evaluasi dalam daftar yang disertakan dalam pekerjaan profil. Jika tidak IncludedStatistics ditentukan, pekerjaan profil menjalankan semua evaluasi yang didukung dengan pengaturan default. Anda dapat mengecualikan semua evaluasi dengan menambahkan NONE keIncludedStatistics. Berikut contohnya.

"IncludedStatistics": ["NONE"]

Statistik yang dapat dikonfigurasi pada tingkat dataset

Di DatasetStatisticsConfiguration bagian struktur Anda, pekerjaan profil mendukung evaluasi yang ditunjukkan pada tabel berikut.

DiIncludedStatistics, Anda dapat mengganti setelan default setiap evaluasi dengan menambahkan penggantian. Setiap penggantian mencakup nama evaluasi tertentu dan peta parameter.

DiDatasetStatisticsConfiguration, pekerjaan profil mendukung CORRELATION penggantian. Penggantian ini menghitung Koefisien Korelasi Pearson antara dua kolom dari daftar kolom yang dipilih. Pengaturan default adalah memilih 10 kolom numerik pertama. Anda dapat menentukan sejumlah kolom atau daftar pemilih kolom untuk mengganti pengaturan default.

CORRELATIONmengambil parameter ini:

Berikut contohnya.

{
    "Statistic": "CORRELATION",
    "Parameters": {
        "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
    }
}

ColumnStatisticsConfigurations bagian

Di ColumnStatisticsConfigurations bagian struktur Anda, Anda dapat membangun konfigurasi untuk kolom tertentu. ColumnStatisticsConfigurationsadalah daftar ColumnStatisticsConfiguration pengaturan. DiColumnStatisticsConfiguration, adaSelectors, daftar pemilih kolom, dan Statistics untuk konfigurasi statistik. Berikut contohnya.

{ 
    "Selectors": [{"Name": "example"}
    ],
    "Statistics": {
       "IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]
        "Overrides": [
            {
                "Statistic": "VALUE_DISTRIBUTION",
                "Parameters": {
                    "binNumber": "10"
                }
            }
        ]
    }
}    

Selectorsadalah daftar pemilih kolom. Seperti halnyaProfileColumns, Anda dapat menentukan nama kolom atau ekspresi reguler di setiap pemilih kolom. Saat Anda menentukanSelectors, konfigurasi kolom diterapkan ke kolom yang cocok dengan pemilih kolom mana pun. Selectors Jika tidak, konfigurasi diterapkan ke semua kolom yang didukung.

DiStatistics, Anda dapat mengganti pengaturan kolom yang dipilih. Seperti halnyaDatasetStatisticsConfiguration, Statistics memiliki IncludedStatistics danOverrides.

Untuk memilih evaluasi yang Anda inginkan, tambahkan nama evaluasi keIncludedStatistics.

"IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]                    

Saat Anda menentukanIncludedStatistics, hanya evaluasi dalam daftar yang disertakan dalam pekerjaan profil. Jika tidak, pekerjaan profil menjalankan semua evaluasi yang didukung dengan pengaturan default.

Anda dapat mengecualikan semua evaluasi dengan menambahkan NONE keIncludedStatistics.

"IncludedStatistics": ["NONE"]                    

Dalam beberapa kasus, mungkin ada beberapa konfigurasi yang berbeda ColumnStatisticsConfigurations IncludedStatistics yang dapat Anda terapkan ke kolom yang sama. Dalam kasus ini, pekerjaan profil memilih konfigurasi terakhir ColumnStatisticsConfigurations dan menerapkannya IncludedStatistics ke kolom yang dipilih. Konfigurasi baru mengesampingkan konfigurasi yang lebih lama.

Statistik yang dapat dikonfigurasi di tingkat kolom

DiColumnStatisticsConfigurations, pekerjaan profil mendukung evaluasi yang ditunjukkan pada tabel berikut.

Tipe data yang didukung number dalam tabel ini berarti bahwa tipe data atribut adalah salah satu dari berikut:ByteType,ShortType,IntegerType,LongType,FloatType, atauDoubleType.

DiIncludedStatistics, Anda dapat mengganti setiap parameter default evaluasi dengan menambahkan override. Setiap penggantian mencakup nama evaluasi tertentu dan peta parameter.

Parameter untuk ColumnStatisticsConfigurations kolom

DiColumnStatisticsConfigurations, pekerjaan profil mendukung parameter berikut.

Dalam beberapa kasus, mungkin ada beberapa konfigurasi yang berbeda ColumnStatisticsConfigurations IncludedStatistics yang dapat Anda terapkan ke kolom yang sama. Dalam kasus ini, pekerjaan profil memilih konfigurasi terakhir ColumnStatisticsConfigurations dan menerapkannya IncludedStatistics ke kolom yang dipilih. Konfigurasi baru mengesampingkan konfigurasi yang lebih lama.

MAXIMUM_VALUES

Daftar nilai maksimum di kolom numerik dan jumlahnya. Ukuran daftar default adalah 5. Anda dapat mengganti ukuran daftar dengan menentukan nilai untuk. sampleSize

Pengaturan

sampleSize— Ukuran daftar yang mencakup jumlah maksimum dan jumlah nilai dalam kolom numerik. Nilai ini harus lebih besar dari 0. Gunakan "ALL" untuk daftar semua nilai.

Contoh

{ 
    "Statistic": "MAXIMUM_VALUES",
    "Parameters": {
        "sampleSize": "5"
    }
}
            

MINIMUM_VALUES

Daftar nilai minimum di kolom numerik dan jumlahnya. Ukuran daftar default adalah 5. Anda dapat mengganti ukuran daftar dengan menentukan nilai untuk. sampleSize

Pengaturan

sampleSize— Ukuran daftar yang mencakup jumlah maksimum dan jumlah nilai dalam kolom numerik. Nilai ini harus lebih besar dari 0. Gunakan "ALL" untuk daftar semua nilai.

Contoh

{
    "Statistic": "MINIMUM_VALUES",
    "Parameters": {
        "sampleSize": "5"
    }
}                
            

MOST_COMMON_VALUES

Daftar nilai yang paling umum di kolom dan jumlahnya. Ukuran daftar default adalah 50. Anda dapat mengganti ukuran daftar dengan menentukan nilai untuk. sampleSize

Pengaturan

sampleSize— Ukuran daftar yang mencakup jumlah maksimum dan jumlah nilai dalam kolom numerik. Nilai ini harus lebih besar dari 0. Gunakan "ALL" untuk daftar semua nilai.

Contoh

{
    "Statistic": "MOST_COMMON_VALUES",
    "Parameters": {
        "sampleSize": "50"
    }
}                
            

OUTLIER_DETECTION

Mendeteksi outlier di kolom numerik atau kolom string (berdasarkan panjang string) dengan algoritma Z_score.

Pekerjaan profil Anda menghitung jumlah outlier dan menghasilkan daftar sampel outlier dan z-score mereka. Daftar sampel diurutkan berdasarkan nilai absolut skor-z. Ukuran daftar default adalah 50.

Algoritma Z_Score mengidentifikasi nilai sebagai outlier ketika menyimpang dari rata-rata dengan lebih dari ambang standar deviasi. Ambang batas outlier default adalah 3.

Anda dapat memberikan satu ambang batas lagi, ambang batas ringan, untuk mendapatkan informasi lebih lanjut. Ambang batas ringan Anda harus kurang dari ambang batas Anda. Fitur ini dimatikan secara default. Ketika ambang batas ringan ditentukan, pekerjaan profil Anda mengembalikan satu hitungan lagi,zScoreMildOutliersCount. Juga, zScoreOutliersSample dapat mencakup sampel outlier ambang batas ringan dalam kasus ini.

Pengaturan

Contoh

{
    "Statistic": "OUTLIER_DETECTION",
    "Parameters": {
        "threshold": "5",
        "mildThreshold": "3.5",
        "sampleSize": "20"
    }
}                
            

VALUE_DISTRIBUTION

Mengukur distribusi nilai di kolom dengan rentang nilai. Pekerjaan profil mengelompokkan nilai dari kolom numerik atau kolom string (berdasarkan panjang string) ke dalam bin berdasarkan rentang numerik, dan menghasilkan daftar bin. Tempat sampah berurutan, dan batas atas untuk ember adalah batas bawah untuk ember berikutnya.

Pengaturan

binNumber— Jumlah tempat sampah. Nilai ini harus lebih besar dari 0.

Contoh

{
    "Statistic": "VALUE_DISTRIBUTION",
    "Parameters": {
        "binNumber": "5"
    }
}          
            

Z_SCORE_DISTRIBUTION

Mengukur distribusi nilai z-skor di kolom numerik. Pekerjaan profil mengelompokkan z-skor nilai ke dalam bin berdasarkan rentang numerik, dan menghasilkan daftar tempat sampah. Tempat sampah berurutan, dan batas atas untuk ember adalah batas bawah untuk ember berikutnya.

Pengaturan

binNumber— Jumlah tempat sampah. Nilai ini harus lebih besar dari 0.

Contoh

{
    "Statistic": "Z_SCORE_DISTRIBUTION",
    "Parameters": {
        "binNumber": "5"
    }
}                
            

EntityDetectorConfiguration bagian untuk mengkonfigurasi PII

Di EntityDetectorConfiguration bagian struktur Anda, Anda dapat mengonfigurasi jenis entitas dalam kumpulan data yang DataBrew ingin Anda deteksi sebagai informasi identifikasi pribadi (PII) untuk pekerjaan profil.

EntityTypes

Anda mengonfigurasi jenis entitas yang DataBrew ingin Anda deteksi sebagai PII untuk pekerjaan profil Anda. Kapan tidak EntityDetectorConfiguration terdefinisi, deteksi entitas dinonaktifkan. Jenis entitas berikut dapat dideteksi dalam kumpulan data Anda:

Grup tipe entitas juga USA_ALL didukung, dan mencakup semua jenis entitas di atas kecuali PERSON_NAME danDATE.

Tipe EntityTypes adalah array string.

AllowedStatistics

Konfigurasikan statistik yang diizinkan untuk dijalankan pada kolom yang berisi entitas yang terdeteksi. Jika tidak AllowedStatistics terdefinisi, tidak ada statistik yang akan dihitung pada kolom yang berisi entitas yang terdeteksi. Lihat Statistik yang dapat dikonfigurasi di tingkat kolom daftar nilai yang valid untuk AllowedStatistics parameter.

Tipe AllowedStatistics adalah array AllowedStatistics objek.