Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Fitur dan Kemampuan
Platform yang Didukung
-
Bahasa: Aplikasi Python dan Scala Spark
-
Platform Target: Amazon EMR di EC2, EMR Tanpa Server, EMR di EKS, dan Glue AWS
Cara Kerjanya
Ketika aplikasi Spark Anda gagal, Anda dapat menggunakan agen pemecahan masalah untuk secara otomatis menyelidiki apa yang salah. Ini menganalisis log peristiwa Spark Anda, pesan kesalahan, dan penggunaan sumber daya untuk menentukan masalah yang tepat — apakah itu pelaksana Spark kehabisan memori, kesalahan konfigurasi, atau bug kode.
Saat Anda meminta prompt bahasa alami untuk menganalisis beban kerja Spark Anda, agen terhubung ke sumber daya platform Anda dan mengekstrak fitur (yang mencakup log peristiwa Spark, rencana kueri, jadwal pelaksana, jejak log, konfigurasi, dan metrik):
-
EMR-EC2Aktif: terhubung ke EMR Persistent UI untuk cluster
-
On Glue: ini membangun konteks dari Spark UI Glue Studio untuk pekerjaan itu
-
EMR-ServerlessAktif: terhubung ke EMR-Serverless Spark History Server untuk pekerjaan itu
-
Pada EMR di EKS: ini terhubung ke EMR Persistent UI untuk pekerjaan itu.
-
Agen juga menganalisis jejak tumpukan kesalahan dan detail konfigurasi Anda untuk memberi Anda wawasan yang dapat ditindaklanjuti.
Untuk beban kerja yang gagal, Anda mendapatkan penjelasan akar penyebab yang jelas dan langkah-langkah spesifik untuk memperbaikinya. Jika agen mendeteksi masalah terkait kode, agen secara otomatis memberikan rekomendasi kode untuk menunjukkan kepada Anda apa yang harus diubah dalam kode Anda. Anda juga dapat meminta saran tingkat kode secara langsung kapan pun Anda menginginkannya tanpa analisis lengkap.
Wilayah yang Tersedia
Agen Pemecahan Masalah Spark tersedia di wilayah berikut:
-
Asia Pasifik: Tokyo (ap-northeast-1), Seoul (ap-northeast-2), Singapura (ap-southeast-1), Sydney (ap-southeast-2), dan Mumbai (ap-southeast-1)
-
Amerika Utara: Kanada (ca-central-1)
-
Eropa: Stockholm (eu-north-1), Irlandia (eu-west-1), London (eu-west-2), Paris (eu-west-3), dan Frankfurt (eu-central-1)
-
Amerika Selatan: São Paulo (sa-east-1)
-
Amerika Serikat: Virginia Utara (us-east-1), Ohio (us-east-2), dan Oregon (us-west-2)
Lingkup Pemecahan Masalah Spark dan Persyaratan Pengguna
-
Status beban kerja Spark yang didukung: Alat hanya akan mendukung respons untuk beban kerja Spark yang gagal.
-
EMR Persistent UI: Saat menganalisis Amazon EMR pada EC2 dan EMR pada beban kerja EKS, alat analisis akan mencoba terhubung ke EMR Persistent UI untuk mengambil informasi Spark kunci. Pertimbangan EMR Persistent UI didokumentasikan di sini.
-
Glue Studio Spark UI: Saat menganalisis beban kerja AWS Glue, alat analisis akan mencoba mengambil informasi Spark kunci dengan mengurai log peristiwa Spark pengguna dari Amazon S3. Ukuran log peristiwa Spark maksimum yang diizinkan didokumentasikan di sini: 512 MB dan 2 GB untuk log bergulir.
-
Rekomendasi Kode: Hanya didukung untuk Amazon EMR di EC2, EMR Tanpa Server, EMR di EKS, dan beban kerja Glue AWS PySpark
-
Sumber daya regional: Agen Pemecahan Masalah Spark bersifat regional dan menggunakan sumber daya EMR yang mendasarinya di wilayah tersebut untuk proses pemecahan masalah. Cross-region pemecahan masalah tidak didukung.
