Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Pemantauan AWS Glue menggunakan CloudWatch metrik Amazon
Anda dapat membuat profil dan memantau operasi AWS Glue menggunakan pembuat profil tugas AWS Glue. Ini mengumpulkan dan memproses data mentah dari AWS Glue pekerjaan menjadi metrik yang dapat dibaca, mendekati waktu nyata yang disimpan di Amazon. CloudWatch Statistik ini disimpan dan dikumpulkan CloudWatch sehingga Anda dapat mengakses informasi historis untuk perspektif yang lebih baik tentang kinerja aplikasi Anda.
**catatan**
Anda mungkin dikenakan biaya tambahan saat mengaktifkan metrik pekerjaan dan metrik CloudWatch khusus dibuat. Untuk informasi selengkapnya, lihat [ CloudWatch harga Amazon](https://aws.amazon.com/cloudwatch/pricing/).
## AWS Glueikhtisar metrik
Saat Anda berinteraksiAWS Glue, itu mengirimkan metrik ke CloudWatch. Anda dapat melihat metrik ini menggunakan AWS Glue konsol (metode pilihan), dasbor CloudWatch konsol, atau AWS Command Line Interface (AWS CLI).
**Untuk melihat metrik menggunakan dasbor konsol AWS Glue**
Anda dapat melihat gambaran umum atau grafik detail metrik untuk tugas, atau grafik terperinci untuk eksekusi tugas.
1. Masuk ke Konsol Manajemen AWS dan buka AWS Glue konsol di [https://console.aws.amazon.com/glue/](https://console.aws.amazon.com/glue/).
1. Di panel navigasi, pilih **Job run monitoring**.
1. Di **Job run** pilih **Tindakan** untuk menghentikan pekerjaan yang sedang berjalan, melihat pekerjaan, atau memundurkan bookmark pekerjaan.
1. Pilih pekerjaan, lalu pilih **Lihat rincian jalankan** untuk melihat informasi tambahan tentang pekerjaan yang dijalankan.
**Untuk melihat metrik menggunakan dasbor CloudWatch konsol**
Metrik dikelompokkan terlebih dahulu berdasarkan namespace layanan, lalu berdasarkan berbagai kombinasi dimensi dalam setiap namespace.
1. Buka CloudWatch konsol di [https://console.aws.amazon.com/cloudwatch/](https://console.aws.amazon.com/cloudwatch/).
1. Pada panel navigasi, silakan pilih **Metrik**.
1. Pilih namespace **Glue**.
**Untuk melihat metrik menggunakan AWS CLI**
+ Pada prompt perintah, gunakan perintah berikut.
```
1. aws cloudwatch list-metrics --namespace Glue
```
AWS Gluemelaporkan metrik CloudWatch setiap 30 detik, dan dasbor CloudWatch metrik dikonfigurasi untuk menampilkannya setiap menit. Metrik AWS Glue merupakan nilai delta dari nilai yang dilaporkan sebelumnya. Jika sesuai, dasbor metrik meng-agregat (jumlah) nilai 30 detik untuk mendapatkan nilai untuk seluruh menit terakhir.
### AWS Glue perilaku metrik untuk pekerjaan Spark
AWS Gluemetrik diaktifkan pada inisialisasi `GlueContext` dalam skrip dan umumnya diperbarui hanya pada akhir tugas Apache Spark. Mereka mewakili nilai-nilai agregat di semua tugas Spark yang sudah selesai sejauh ini.
Namun, metrik Spark yang AWS Glue diteruskan ke umumnya CloudWatch merupakan nilai absolut yang mewakili keadaan saat ini pada saat dilaporkan. AWS Gluemelaporkannya CloudWatch setiap 30 detik, dan dasbor metrik umumnya menunjukkan rata-rata di seluruh titik data yang diterima dalam 1 menit terakhir.
Nama metrik AWS Glue semuanya didahului oleh salah satu jenis prefiks berikut:
+ `glue.driver.` — Metrik yang namanya dimulai dengan prefiks ini mewakili metrik AWS Glue yang dikumpulkan dari semua pelaksana di driver Spark, atau metrik Spark yang sesuai dengan driver Spark.
+ `glue.`*executorId*`.` — *executorId* adalah nomor pelaksana Spark tertentu. Nomor itu sesuai dengan pelaksana yang tercantum dalam log.
+ `glue.ALL.` — Metrik yang namanya dimulai dengan prefiks ini menjumlahkan nilai dari semua pelaksana Spark.
## AWS Glue metrik
AWS Glue profil dan mengirimkan metrik berikut ke CloudWatch setiap 30 detik, dan Dasbor AWS Glue Metrik melaporkannya sekali dalam satu menit:
| Metrik | Deskripsi |
| --- | --- |
| `glue.driver.aggregate.bytesRead` | Jumlah byte yang dibaca dari semua sumber data oleh semua tugas Spark yang diselesaikan yang berjalan di semua pelaksana.
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (hitung).
Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi.
Unit: Bita
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Metrik ini dapat digunakan dengan cara yang sama seperti metrik `glue.ALL.s3.filesystem.read_bytes`, dengan perbedaan bahwa metrik ini diperbarui pada akhir tugas Spark dan menangkap sumber data non-S3 juga. |
| `glue.driver.aggregate.elapsedTime` | Waktu berlalu ETL dinyatakan dalam milidetik (tidak termasuk waktu bootstrap tugas).
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (hitung).
Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi.
Satuan: Milidetik
Dapat digunakan untuk menentukan berapa lama waktu rata-rata yang dibutuhkan untuk menjalankan sebuah eksekusi tugas.
Beberapa cara menggunakan data:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.aggregate.numCompletedStages` | Jumlah tahap yang diselesaikan dalam tugas.
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (hitung).
Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi.
Unit: Jumlah
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Beberapa cara menggunakan data:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.aggregate.numCompletedTasks` | Jumlah tugas yang telah selesai dalam tugas tersebut.
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (hitung).
Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi.
Unit: Jumlah
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.aggregate.numFailedTasks` | Jumlah tugas yang gagal.
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (hitung).
Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi.
Unit: Jumlah
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Data dapat digunakan untuk mengatur alarm untuk peningkatan kegagalan yang mungkin menunjukkan kelainan pada data, klaster atau skrip. |
| `glue.driver.aggregate.numKilledTasks` | Jumlah tugas yang dihentikan.
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (hitung).
Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi.
Unit: Jumlah
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Beberapa cara menggunakan data:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.aggregate.recordsRead` | Jumlah catatan yang dibaca dari semua sumber data oleh semua tugas Spark yang telah diselesaikan yang berjalan di semua pelaksana..
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (hitung).
Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi.
Unit: Jumlah
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Metrik ini dapat digunakan dengan cara yang serupa seperti metrik `glue.ALL.s3.filesystem.read_bytes`, dengan perbedaan bahwa metrik ini diperbarui pada akhir tugas Spark. |
| `glue.driver.aggregate.shuffleBytesWritten` | Jumlah byte yang ditulis oleh semua pelaksana untuk mengacak data di antara mereka sejak laporan sebelumnya (digabungkan oleh Dasbor AWS Glue Metrik sebagai jumlah byte yang ditulis untuk tujuan ini selama menit sebelumnya).
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (hitung).
Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi.
Unit: Bita
Dapat digunakan untuk memantau: Acakan data dalam tugas (gabungan besar, groupBy, partisi ulang, menyatu).
Beberapa cara menggunakan data:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.aggregate.shuffleLocalBytesRead` | Jumlah byte yang dibaca oleh semua pelaksana untuk mengacak data di antara mereka sejak laporan sebelumnya (digabungkan oleh Dasbor AWS Glue Metrik sebagai jumlah byte yang dibaca untuk tujuan ini selama menit sebelumnya).
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (hitung).
Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi.
Unit: Bita
Dapat digunakan untuk memantau: Acakan data dalam tugas (gabungan besar, groupBy, partisi ulang, menyatu).
Beberapa cara menggunakan data:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.BlockManager.disk.diskSpaceUsed_MB` | Jumlah megabyte ruang disk yang digunakan di semua pelaksana.
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (gauge).
Statistik yang valid: Rata-rata. Ini adalah sebuah metrik Spark, yang dilaporkan sebagai nilai absolut.
Satuan: Megabyte
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Beberapa cara menggunakan data:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.ExecutorAllocationManager.executors.numberAllExecutors` | Jumlah aktif pelaksana tugas yang berjalan.
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (gauge).
Statistik yang valid: Rata-rata. Ini adalah sebuah metrik Spark, yang dilaporkan sebagai nilai absolut.
Unit: Jumlah
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Beberapa cara menggunakan data:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors` | Jumlah maksimum (aktif berjalan dan tertunda) pelaksana tugas yang diperlukan untuk memenuhi beban saat ini.
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (gauge).
Statistik yang Valid: Maksimum. Ini adalah sebuah metrik Spark, yang dilaporkan sebagai nilai absolut.
Unit: Jumlah
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Beberapa cara menggunakan data:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.jvm.heap.usage`
`glue.`*executorId*`.jvm.heap.usage`
`glue.ALL.jvm.heap.usage` | Fraksi memori digunakan oleh tumpukan JVM untuk driver ini (skala: 0-1) untuk driver, pelaksana diidentifikasi oleh executorId, atau SEMUA pelaksana.
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (gauge).
Statistik yang valid: Rata-rata. Ini adalah sebuah metrik Spark, yang dilaporkan sebagai nilai absolut.
Unit: Persentase
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Beberapa cara menggunakan data:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.jvm.heap.used`
`glue.`*executorId*`.jvm.heap.used`
`glue.ALL.jvm.heap.used` | Jumlah byte memori yang digunakan oleh timbunan JVM untuk driver, pelaksana yang diidentifikasi oleh *executorId*, atau SEMUA pelaksana.
Dimensi yang valid: `JobName` (nama AWS Glue Job), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (gauge).
Statistik yang valid: Rata-rata. Ini adalah sebuah metrik Spark, yang dilaporkan sebagai nilai absolut.
Unit: Bita
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Beberapa cara menggunakan data:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.s3.filesystem.read_bytes`
`glue.`*executorId*`.s3.filesystem.read_bytes`
`glue.ALL.s3.filesystem.read_bytes` | Jumlah byte yang dibaca dari Amazon S3 oleh driver, eksekutor yang diidentifikasi oleh *ExecutorID*, atau SEMUA pelaksana sejak laporan sebelumnya (digabungkan oleh AWS Glue Dasbor Metrik sebagai jumlah byte yang dibaca selama menit sebelumnya).
Dimensi yang valid: `JobName`, `JobRunId`, dan `Type`(meteran).
Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi di Dasbor AWS Glue Metrik statistik SUM digunakan untuk agregasi. Area di bawah kurva pada Dasbor AWS Glue Metrik dapat digunakan untuk membandingkan byte secara visual yang dibaca oleh dua pekerjaan yang berbeda.
Unit: Byte.
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Data yang dihasilkan dapat digunakan untuk:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.s3.filesystem.write_bytes`
`glue.`*executorId*`.s3.filesystem.write_bytes`
`glue.ALL.s3.filesystem.write_bytes` | Jumlah byte yang ditulis ke Amazon S3 oleh driver, eksekutor yang diidentifikasi oleh *ExecutorID*, atau SEMUA pelaksana sejak laporan sebelumnya (digabungkan oleh AWS Glue Dasbor Metrik sebagai jumlah byte yang ditulis selama menit sebelumnya).
Dimensi yang valid: `JobName`, `JobRunId`, dan `Type`(meteran).
Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi di Dasbor AWS Glue Metrik statistik SUM digunakan untuk agregasi. Area di bawah kurva pada Dasbor AWS Glue Metrik dapat digunakan untuk membandingkan byte secara visual yang ditulis oleh dua pekerjaan yang berbeda.
Unit: Bita
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Beberapa cara menggunakan data:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.streaming.numRecords` | Jumlah catatan yang diterima dalam batch mikro. Metrik ini hanya tersedia untuk pekerjaan AWS Glue streaming dengan AWS Glue versi 2.0 ke atas.
Dimensi yang valid: `JobName` (nama AWS Glue pekerjaan), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (hitung).
Statistik yang Valid: Jumlah, Maksimum, Minimum, Rata-rata, Persentil
Unit: Jumlah
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.streaming.batchProcessingTimeInMs` | Waktu yang dibutuhkan untuk memproses batch dalam milidetik. Metrik ini hanya tersedia untuk pekerjaan AWS Glue streaming dengan AWS Glue versi 2.0 ke atas.
Dimensi yang valid: `JobName` (nama AWS Glue pekerjaan), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (hitung).
Statistik yang Valid: Jumlah, Maksimum, Minimum, Rata-rata, Persentil
Unit: Jumlah
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.system.cpuSystemLoad`
`glue.`*executorId*`.system.cpuSystemLoad`
`glue.ALL.system.cpuSystemLoad` | Fraksi beban sistem CPU yang digunakan (skala: 0-1) oleh driver, yakni pelaksana yang diidentifikasi oleh *executorId*, atau SEMUA pelaksana.
Dimensi yang valid: `JobName` (nama AWS Glue pekerjaan), `JobRunId` ( JobRun ID. atau`ALL`), dan `Type` (pengukur).
Statistik yang valid: Rata-rata. Ini adalah sebuah metrik yang dilaporkan sebagai nilai absolut.
Unit: Persentase
Dapat digunakan untuk memantau:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Beberapa cara menggunakan data:[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
## Dimensi untuk AWS Glue Metrik
AWS Glue metrik menggunakan AWS Glue namespace dan menyediakan metrik untuk dimensi berikut:
| Dimensi | Deskripsi |
| --- | --- |
| `JobName` | Dimensi ini menyaring metrik semua pekerjaan yang dijalankan dari AWS Glue pekerjaan tertentu. |
| `JobRunId` | Dimensi ini menyaring metrik AWS Glue pekerjaan tertentu yang dijalankan oleh JobRun ID, atau`ALL`. |
| `Type` | Dimensi ini mem-filter untuk metrik dengan `count` (jumlah agregat) atau `gauge` (nilai pada satu titik waktu). |
Untuk informasi selengkapnya, lihat [Panduan CloudWatch Pengguna Amazon](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/).