View a markdown version of this page

Menggunakan Spark Connect dengan AWS Glue sesi interaktif - AWS Glue
Membandingkan jenis sesi: Livy dan Spark ConnectKapan menggunakan Spark ConnectKetersediaan wilayahPertimbangan dan batasan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan Spark Connect dengan AWS Glue sesi interaktif

Apache Spark Connect memperkenalkan arsitektur client-server terpisah yang memisahkan aplikasi Anda dari proses driver Spark. Dengan Spark Connect, sesi AWS Glue interaktif mendapat manfaat dari klien ringan yang dimulai lebih cepat, menggunakan lebih sedikit sumber daya lokal, dan menyediakan kompatibilitas asli dengan API PySpark DataFrame dan SQL. Anda dapat menggunakan sesi AWS Glue interaktif dari perkakas notebook atau IDE pilihan Anda.

Spark Connect didukung secara native di AWS Glue versi 5.1 ke atas. Anda dapat terhubung ke sesi AWS Glue interaktif langsung dari lingkungan yang mendukung PySpark remote() API.

Membandingkan jenis sesi: Livy dan Spark Connect

AWS Gluesesi interaktif mendukung dua jenis sesi. Tabel berikut membandingkan Livy-based sesi dan sesi Spark Connect.

Fitur Livy Spark Connect

Protokol

REST

gRPC (untuk mengirim rencana eksekusi logis) +Apache Arrow (untuk mengalirkan hasil)

Metode koneksi

API Pernyataan (RunStatement,CancelStatement,GetStatement,ListStatements)

Koneksi langsung melalui URL endpoint menggunakan API PySpark remote()

Kebutuhan klien

aws-glue-sessionspaket untuk kernel atau AWS SDK

PySpark dengan dukungan Spark Connect

Dukungan IDE

Melalui Jupyter dengan kernel SparkMagic

Notebook di SageMaker Unified Studio atau IDE dengan penerjemah Python seperti VS Code,, dan lainnya PyCharm

Kapan menggunakan Spark Connect

Gunakan sesi Spark Connect saat Anda membutuhkan akses langsung dan terprogram ke sesi AWS Glue interaktif dari lingkungan pengembangan Anda. Berikut ini adalah kasus penggunaan umum:

  • Notebook di SageMaker Unified Studio — Connect ke sesi AWS Glue interaktif langsung dari lingkungan notebook Anda untuk eksplorasi data interaktif.

  • IDE seperti VS Code atau PyCharm — Gunakan PySpark dari IDE pilihan Anda untuk mengembangkan dan menguji aplikasi Spark terhadap AWS Glue cluster jarak jauh.

  • Skrip dan aplikasi Python — Akses sesi AWS Glue interaktif secara terprogram dari aplikasi Python yang menggunakan API. PySpark remote()

Ketersediaan wilayah

AWS Glue sesi interaktif dengan Spark Connect tersedia di AWS Wilayah berikut:

  • Asia Pasifik (Mumbai)

  • Asia Pasifik (Seoul)

  • Asia Pasifik (Singapura)

  • Asia Pasifik (Sydney)

  • Asia Pasifik (Tokyo)

  • Kanada (Pusat)

  • Eropa (Frankfurt)

  • Eropa (Irlandia)

  • Eropa (London)

  • Eropa (Paris)

  • Eropa (Stockholm)

  • Amerika Selatan (Sao Paulo)

  • AS Timur (Ohio)

  • AS Timur (Virginia Utara)

  • AS Barat (Oregon)

Pertimbangan dan batasan

Pertimbangkan hal berikut saat Anda menggunakan Spark Connect dengan sesi AWS Glue interaktif:

  • Spark Connect tersedia untuk sesi AWS Glue interaktif yang menjalankan AWS Glue versi 5.1 dan yang lebih baru.

  • API Pernyataan (RunStatement,CancelStatement,GetStatement, danListStatements) tidak didukung untuk sesi Spark Connect. Anda berinteraksi dengan sesi secara langsung melalui PySpark klien.

  • Anda tidak dapat mengubah jenis sesi setelah membuat sesi. Untuk beralih antara Livy dan Spark Connect, Anda harus membuat sesi baru.

  • Spark Connect tidak didukung pada AWS Glue Studio. Untuk pengembangan interaktif menggunakan AWS Glue, Anda dapat menggunakan Notebook di SageMaker Unified Studio atau IDE pilihan Anda dengan interpreter Python.

  • Fine-grained kontrol akses melalui Lake Formation tidak didukung untuk sesi Spark Connect.