Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Menggunakan Spark Connect dengan AWS Glue sesi interaktif
<a name="interactive-sessions-spark-connect"></a>

 [Apache Spark Connect](https://spark.apache.org/spark-connect/) memperkenalkan arsitektur client-server terpisah yang memisahkan aplikasi Anda dari proses driver Spark. Dengan Spark Connect, sesi AWS Glue interaktif mendapat manfaat dari klien ringan yang dimulai lebih cepat, menggunakan lebih sedikit sumber daya lokal, dan menyediakan kompatibilitas asli dengan API PySpark DataFrame dan SQL. Anda dapat menggunakan sesi AWS Glue interaktif dari perkakas notebook atau IDE pilihan Anda. 

 Spark Connect didukung secara native di AWS Glue versi 5.1 ke atas. Anda dapat terhubung ke sesi AWS Glue interaktif langsung dari lingkungan yang mendukung PySpark `remote()` API. 

## Membandingkan jenis sesi: Livy dan Spark Connect
<a name="is-spark-connect-comparison"></a>

 AWS Gluesesi interaktif mendukung dua jenis sesi. Tabel berikut membandingkan Livy-based sesi dan sesi Spark Connect. 


| Fitur | Livy | Spark Connect | 
| --- | --- | --- | 
| Protokol | REST | gRPC (untuk mengirim rencana eksekusi logis) \+Apache Arrow (untuk mengalirkan hasil) | 
| Metode koneksi | API Pernyataan (`RunStatement`,`CancelStatement`,`GetStatement`,`ListStatements`) | Koneksi langsung melalui URL endpoint menggunakan API PySpark `remote()` | 
| Kebutuhan klien | `aws-glue-sessions`paket untuk kernel atau AWS SDK | PySpark dengan dukungan Spark Connect | 
| Dukungan IDE | Melalui Jupyter dengan kernel SparkMagic  | Notebook di SageMaker Unified Studio atau IDE dengan penerjemah Python seperti VS Code,, dan lainnya PyCharm | 

## Kapan menggunakan Spark Connect
<a name="is-spark-connect-use-cases"></a>

 Gunakan sesi Spark Connect saat Anda membutuhkan akses langsung dan terprogram ke sesi AWS Glue interaktif dari lingkungan pengembangan Anda. Berikut ini adalah kasus penggunaan umum: 
+ **Notebook di SageMaker Unified Studio** — Connect ke sesi AWS Glue interaktif langsung dari lingkungan notebook Anda untuk eksplorasi data interaktif.
+ **IDE seperti VS Code atau PyCharm** — Gunakan PySpark dari IDE pilihan Anda untuk mengembangkan dan menguji aplikasi Spark terhadap AWS Glue cluster jarak jauh.
+ **Skrip dan aplikasi Python** — Akses sesi AWS Glue interaktif secara terprogram dari aplikasi Python yang menggunakan API. PySpark `remote()`

## Ketersediaan wilayah
<a name="is-spark-connect-regions"></a>

AWS Glue sesi interaktif dengan Spark Connect tersedia di AWS Wilayah berikut:
+ Asia Pasifik (Mumbai)
+ Asia Pasifik (Seoul)
+ Asia Pasifik (Singapura)
+ Asia Pasifik (Sydney)
+ Asia Pasifik (Tokyo)
+ Kanada (Pusat)
+ Eropa (Frankfurt)
+ Eropa (Irlandia)
+ Eropa (London)
+ Eropa (Paris)
+ Eropa (Stockholm)
+ Amerika Selatan (Sao Paulo)
+ AS Timur (Ohio)
+ AS Timur (Virginia Utara)
+ AS Barat (Oregon)

## Pertimbangan dan batasan
<a name="is-spark-connect-limitations"></a>

 Pertimbangkan hal berikut saat Anda menggunakan Spark Connect dengan sesi AWS Glue interaktif: 
+ Spark Connect tersedia untuk sesi AWS Glue interaktif yang menjalankan AWS Glue versi 5.1 dan yang lebih baru.
+ API Pernyataan (`RunStatement`,`CancelStatement`,`GetStatement`, dan`ListStatements`) tidak didukung untuk sesi Spark Connect. Anda berinteraksi dengan sesi secara langsung melalui PySpark klien.
+ Anda tidak dapat mengubah jenis sesi setelah membuat sesi. Untuk beralih antara Livy dan Spark Connect, Anda harus membuat sesi baru.
+ Spark Connect tidak didukung pada AWS Glue Studio. Untuk pengembangan interaktif menggunakan AWS Glue, Anda dapat menggunakan Notebook di SageMaker Unified Studio atau IDE pilihan Anda dengan interpreter Python.
+ Fine-grained kontrol akses melalui Lake Formation tidak didukung untuk sesi Spark Connect.