View a markdown version of this page

Aktifkan garis keturunan Snowflake untuk AWS Glue Lowongan kerja Spark - Amazon DataZone
PrasyaratLangkah 1: Tingkatkan klien OpenLineage inti pada AWS Glue pekerjaanLangkah 2: Aktifkan pembuatan acara silsilah di AWS Glue pekerjaanVerifikasi silsilah ditangkap

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Aktifkan garis keturunan Snowflake untuk AWS Glue Lowongan kerja Spark

Amazon DataZone dapat menangkap garis keturunan tingkat kolom dari pekerjaan AWS Glue Spark yang membaca dari atau menulis ke sumber data Snowflake. Saat Anda mengaktifkan garis keturunan pada AWS Glue pekerjaan, runtime AWS Glue Spark memancarkan peristiwa garis keturunan saat pekerjaan berjalan dan Amazon SageMaker Unified Studio merendernya dalam tampilan garis keturunan.

AWS Glue Runtime Spark sudah menyertakan DataZone integrasi OpenLineage Spark dan Amazon yang digunakannya untuk mengirim acara. Satu-satunya langkah tambahan adalah memutakhirkan klien OpenLineage inti (openlineage-java) pada pekerjaan ke versi1.49.0.

Prasyarat

Sebelum Anda mengaktifkan silsilah pada pekerjaan AWS Glue Spark, konfirmasikan hal berikut:

  • DataZone Domain dan proyek Amazon dengan koneksi Snowflake sudah dikonfigurasi. Lihat Connect Snowflake sebagai sumber data di Amazon DataZone.

  • Pekerjaan AWS Glue Spark yang membaca dari atau menulis ke sumber Snowflake yang terhubung.

  • Izin untuk memodifikasi konfigurasi AWS Glue pekerjaan.

  • Bucket Amazon S3 yang dapat dibaca oleh AWS Glue pekerjaan itu.

Langkah-langkah berikut menjelaskan cara memutakhirkan klien OpenLineage inti di AWS Glue tempat kerja dan mengaktifkan pembuatan acara garis keturunan.

Langkah 1: Tingkatkan klien OpenLineage inti pada AWS Glue pekerjaan

Runtime AWS Glue Spark menggabungkan integrasi OpenLineage Spark dan integrasi Amazon. DataZone Untuk membuatnya kompatibel dengan Amazon DataZone, tingkatkan openlineage-java klien di tempat kerja ke versi1.49.0.

  1. Unduh openlineage-java-1.49.0.jar dari Maven Central. Gunakan:

  2. Unggah JAR ke bucket Amazon S3 yang dapat dibaca oleh AWS Glue pekerjaan Anda.

  3. Di AWS Glue konsol, buka pekerjaan dan pilih Detail pekerjaan. Di bawah properti Advanced, temukan jalur Dependent JAR dan tambahkan URI S3 dari JAR yang diunggah.

  4. Masih dalam rincian Job, tambahkan parameter pekerjaan berikut:

    Key Nilai
    --user-jars-first true

    Ini membuat runtime AWS Glue Spark memuat openlineage-java klien yang Anda unggah alih-alih versi yang dibundel. AWS Glue

Langkah 2: Aktifkan pembuatan acara silsilah di AWS Glue pekerjaan

  1. Di AWS Glue konsol, buka pekerjaan dan pilih Detail pekerjaan → Properti dasar.

  2. Pilih Hasilkan acara silsilah.

  3. Masukkan ID DataZone Domain Amazon Anda di bidang yang muncul. Gunakan ID Domain yang sama yang Anda gunakan saat membuat koneksi Snowflake.

  4. Simpan pekerjaan.

Verifikasi silsilah ditangkap

Jalankan AWS Glue pekerjaan. Setelah pekerjaan selesai, buka tampilan garis keturunan di Amazon SageMaker Unified Studio untuk tabel target dalam proyek Anda. Catatan garis keturunan untuk sumber Snowflake yang dibaca oleh pekerjaan muncul sebagai node hulu dalam grafik.