View a markdown version of this page

Membuat dan bekerja dengan AWS Glue DataBrew lowongan kerja profil - AWS Glue DataBrew Panduan Developer

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat dan bekerja dengan AWS Glue DataBrew lowongan kerja profil

Pekerjaan profil menjalankan serangkaian evaluasi pada kumpulan data dan menampilkan hasilnya ke Amazon S3. Informasi yang dikumpulkan oleh profil data membantu Anda memahami kumpulan data Anda dan memutuskan jenis langkah persiapan data yang mungkin ingin Anda jalankan dalam pekerjaan resep Anda.

Cara termudah untuk menjalankan pekerjaan profil adalah menggunakan DataBrew pengaturan default. Anda dapat mengonfigurasi pekerjaan profil Anda sebelum menjalankannya sehingga hanya mengembalikan informasi yang Anda inginkan.

Gunakan prosedur berikut untuk membuat pekerjaan DataBrew profil.

Untuk membuat pekerjaan profil

  1. Masuk ke Konsol Manajemen AWS dan buka DataBrew konsol di https://console.aws.amazon.com/databrew/.

  2. Pilih JOBS dari panel navigasi, pilih tab Profile jobs, lalu pilih Create job.

  3. Masukkan nama untuk pekerjaan Anda, lalu pilih Buat pekerjaan profil.

  4. Untuk masukan Job, berikan nama dataset yang akan diprofilkan.

  5. (Opsional) Konfigurasikan hal berikut pada panel Konfigurasi profil data:

    • Konfigurasi tingkat kumpulan data — Konfigurasikan detail pekerjaan profil Anda untuk semua kolom dalam kumpulan data Anda.

      Secara opsional, Anda dapat mengaktifkan kemampuan untuk mendeteksi dan menghitung baris duplikat dalam kumpulan data. Anda juga dapat memilih Aktifkan matriks korelasi dan pilih kolom untuk melihat seberapa dekat nilai-nilai dalam beberapa kolom terkait. Untuk detail statistik yang dapat Anda konfigurasikan di tingkat kumpulan data, lihatStatistik yang dapat dikonfigurasi pada tingkat dataset. Anda dapat mengonfigurasi statistik di DataBrew konsol, atau menggunakan DataBrew API atau AWS SDK.

    • Konfigurasi tingkat kolom - Menggunakan pengaturan konfigurasi profil default, Anda dapat memilih kolom yang akan disertakan dalam pekerjaan profil Anda. Gunakan Tambahkan penggantian konfigurasi untuk memilih kolom yang membatasi jumlah statistik yang dikumpulkan, atau ganti konfigurasi default statistik tertentu. Untuk detail statistik yang dapat Anda konfigurasikan di tingkat kolom, lihatStatistik yang dapat dikonfigurasi di tingkat kolom. Anda dapat mengonfigurasi statistik di DataBrew konsol, atau menggunakan DataBrew API atau AWS SDK.

      Pastikan bahwa setiap penggantian konfigurasi yang Anda tentukan berlaku untuk kolom yang Anda sertakan dalam pekerjaan profil Anda. Jika ada konflik antara penggantian berbeda yang Anda konfigurasikan untuk kolom, penggantian konflik terakhir memiliki prioritas.

  6. (Opsional) Anda dapat membuat aturan kualitas Data dan menerapkan aturan tambahan yang terkait dengan kumpulan data ini atau menghapus yang sudah diterapkan. Untuk informasi selengkapnya tentang validasi kualitas data, lihatMemvalidasi kualitas data di AWS Glue DataBrew.

  7. Pada panel Pengaturan pekerjaan lanjutan, Anda dapat memilih opsi lainnya untuk menjalankan pekerjaan Anda:

    • Jumlah maksimum unit — DataBrew memproses pekerjaan menggunakan beberapa node komputasi, berjalan secara paralel. Jumlah default node adalah 5. Jumlah node maksimum adalah 149.

    • Job timeout - Jika pekerjaan membutuhkan lebih dari jumlah menit yang Anda tetapkan di sini untuk dijalankan, itu gagal dengan kesalahan batas waktu. Nilai default adalah 2.880 menit, atau 48 jam.

    • Jumlah percobaan ulang — Jika pekerjaan gagal saat berjalan, DataBrew dapat mencoba menjalankannya lagi. Secara default, pekerjaan tidak dicoba lagi.

    • Aktifkan CloudWatch Log Amazon untuk pekerjaan - Memungkinkan DataBrew untuk mempublikasikan informasi diagnostik ke CloudWatch Log. Log ini dapat berguna untuk tujuan pemecahan masalah, atau untuk detail lebih lanjut tentang bagaimana pekerjaan diproses.

  8. Untuk Jadwal Terkait, Anda dapat menerapkan jadwal kerja sehingga pekerjaan Anda berjalan pada waktu tertentu, atau secara berulang. DataBrew Untuk informasi selengkapnya, lihat Mengotomatiskan pekerjaan berjalan dengan jadwal.

  9. Ketika pengaturan seperti yang Anda inginkan, pilih Buat pekerjaan. Atau, jika Anda ingin segera menjalankan pekerjaan, pilih Buat dan jalankan pekerjaan.