Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Lihat riwayat aplikasi Amazon EMR
Anda dapat melihat detail aplikasi layanan layanan timeline Spark History Server dan YARN dengan halaman detail cluster di konsol. Riwayat aplikasi Amazon EMR mamudahkan Anda untuk memecahkan masalah dan menganalisis pekerjaan aktif dan riwayat pekerjaan.
**catatan**
Untuk meningkatkan keamanan aplikasi off-console yang mungkin Anda gunakan dengan Amazon EMR, domain hosting aplikasi terdaftar di Daftar Akhiran Publik (PSL). Contoh domain hosting ini meliputi:`emrstudio-prod.us-east-1.amazonaws.com`,`emrnotebooks-prod.us-east-1.amazonaws.com`,`emrappui-prod.us-east-1.amazonaws.com`. Untuk keamanan lebih lanjut, jika Anda perlu mengatur cookie sensitif di nama domain default, kami sarankan Anda menggunakan cookie dengan `__Host-` awalan. Ini membantu mempertahankan domain Anda dari upaya pemalsuan permintaan lintas situs (CSRF). Untuk informasi selengkapnya, lihat [https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Set-Cookie#cookie_prefixes](https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Set-Cookie#cookie_prefixes)halaman di *Jaringan Pengembang Mozilla*.
Bagian **antarmuka pengguna Aplikasi** pada tab **Aplikasi** menyediakan beberapa opsi tampilan, tergantung pada status klaster dan aplikasi yang Anda instal di cluster.
+ [Akses off-cluster ke antarmuka pengguna aplikasi persisten](https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html) - Dimulai dengan Amazon EMR versi 5.25.0, tautan antarmuka pengguna aplikasi persisten tersedia untuk Spark UI dan Spark History Service. Dengan Amazon EMR versi 5.30.1 dan yang lebih baru, Tez UI dan server timeline YARN juga memiliki antarmuka pengguna aplikasi yang persisten. Server timeline YARN dan Tez UI adalah aplikasi sumber terbuka yang menyediakan metrik untuk klaster aktif dan diakhiri. Antarmuka pengguna Spark memberikan detail tentang tahapan penjadwal dan tugas, ukuran RDD dan penggunaan memori, informasi lingkungan, dan informasi tentang pelaksana yang sedang berjalan. Aplikasi persisten UIs dijalankan di luar cluster, sehingga informasi cluster dan log tersedia selama 30 hari setelah aplikasi berakhir. Tidak seperti antarmuka pengguna aplikasi on-cluster, aplikasi persisten UIs tidak mengharuskan Anda untuk mengatur proxy web melalui koneksi SSH.
+ [Antarmuka pengguna aplikasi di klaster](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html) — Ada berbagai antarmuka pengguna riwayat aplikasi yang dapat dijalankan pada sebuah klaster. Antarmuka pengguna di klaster di-host pada simpul utama dan mengharuskan Anda untuk mengatur koneksi SSH ke server web. Antarmuka pengguna aplikasi di klaster menyimpan riwayat aplikasi selama satu minggu setelah aplikasi berakhir. Untuk informasi selengkapnya dan petunjuk tentang pengaturan terowongan SSH, lihat [Melihat antarmuka web yang di-host pada klaster Amazon EMR](emr-web-interfaces.md).
Dengan pengecualian dari Server Riwayat Spark, server timeline YARN, dan aplikasi Hive, riwayat aplikasi di klaster hanya dapat dilihat saat klaster berjalan.
# Lihat antarmuka pengguna aplikasi persisten di Amazon EMR
Dimulai dengan Amazon EMR versi 5.25.0, Anda dapat terhubung ke detail aplikasi Server Riwayat Spark persisten yang di-host di luar klaster menggunakan halaman **Ringkasan** klaster atau tab **Antarmuka pengguna aplikasi** di konsol tersebut. Tez UI dan antarmuka aplikasi persisten server timeline YARN tersedia mulai dari Amazon EMR versi 5.30.1. Akses tautan satu klik ke riwayat aplikasi persisten memberikan manfaat berikut:
+ Anda dapat dengan cepat menganalisis dan memecahkan masalah pekerjaan yang aktif dan riwayat pekerjaan tanpa mengatur proksi web melalui koneksi SSH.
+ Anda dapat mengakses riwayat aplikasi dan berkas log yang relevan untuk klaster yang aktif dan diakhiri. Log tersedia selama 30 hari setelah aplikasi berakhir.
Arahkan ke detail klaster Anda di konsol, dan pilih tab **Aplikasi**. Pilih UI aplikasi yang Anda inginkan setelah cluster Anda diluncurkan. UI aplikasi terbuka di tab browser baru. Untuk informasi selengkapnya, lihat [Pemantauan dan instrumentasi](https://spark.apache.org/docs/latest/monitoring.html).
Anda dapat melihat log kontainer YARN melalui tautan pada server riwayat Spark, server timeline YARN, dan Tez UI.
**catatan**
Untuk mengakses log kontainer YARN dari server riwayat Spark, server timeline YARN, dan Tez UI, Anda harus mengaktifkan logging ke Amazon S3 untuk klaster Anda. Jika Anda tidak mengaktifkan logging, tautan ke log kontainer YARN tidak akan berfungsi.
## Pengumpulan log
Untuk mengaktifkan akses satu klik ke antarmuka pengguna aplikasi persisten, Amazon EMR mengumpulkan dua jenis log:
+ **Log peristiwa aplikasi** dikumpulkan ke dalam bucket sistem EMR. Log peristiwa dienkripsi saat istirahat menggunakan Enkripsi Sisi Server dengan Kunci Terkelola Amazon S3 (SSE-S3). Jika Anda menggunakan subnet pribadi untuk klaster Anda, pastikan untuk menyertakan bucket sistem yang benar ARNs dalam daftar sumber daya kebijakan Amazon S3 untuk subnet pribadi. Untuk informasi selengkapnya, lihat [Kebijakan Amazon S3 minimum untuk subnet privat](https://docs.aws.amazon.com/emr/latest/ManagementGuide/private-subnet-iampolicy.html).
+ **Log kontainer YARN** dikumpulkan ke dalam bucket Amazon S3 yang Anda miliki. Anda harus mengaktifkan logging untuk klaster Anda untuk mengakses log kontainer YARN. Untuk informasi selengkapnya, lihat [Mengkonfigurasi logging dan debug klaster](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html).
Jika Anda perlu untuk menonaktifkan fitur ini untuk alasan privasi, Anda dapat menghentikan daemon dengan menggunakan skrip bootstrap ketika Anda membuat sebuah klaster, seperti yang ditunjukkan contoh berikut.
```
aws emr create-cluster --name "Stop Application UI Support" --release-label emr-7.12.0 \
--applications Name=Hadoop Name=Spark --ec2-attributes KeyName= \
--instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=CORE,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=TASK,InstanceCount=1,InstanceType=m3.xlarge \
--use-default-roles --bootstrap-actions Path=s3://region.elasticmapreduce/bootstrap-actions/run-if,Args=["instance.isMaster=true","echo Stop Application UI | sudo tee /etc/apppusher/run-apppusher; sudo systemctl stop apppusher || exit 0"]
```
Setelah Anda menjalankan skrip bootstrap ini, Amazon EMR tidak akan mengumpulkan log peristiwa Server Riwayat Spark atau server timeline YARN ke bucket sistem EMR. Tidak ada informasi riwayat aplikasi yang akan tersedia di tab **Antarmuka pengguna aplikasi**, dan Anda akan kehilangan akses ke semua antarmuka pengguna aplikasi dari konsol tersebut.
## File log peristiwa Spark besar
Dalam beberapa kasus, pekerjaan Spark yang berjalan lama, seperti streaming Spark, dan pekerjaan besar, seperti kueri Spark SQL, dapat menghasilkan log peristiwa besar. Dengan log peristiwa besar, Anda dapat dengan cepat menggunakan ruang disk pada instance komputasi dan mengalami `OutOfMemory` kesalahan saat memuat Persistent. UIs Untuk menghindari masalah ini, kami sarankan Anda mengaktifkan fitur penggulungan dan pemadatan log peristiwa Spark. Fitur ini tersedia di Amazon EMR versi emr-6.1.0 dan yang lebih baru. Untuk detail selengkapnya tentang rolling dan compaction, lihat [Menerapkan pemadatan pada file log peristiwa bergulir](https://spark.apache.org/docs/latest/monitoring.html#applying-compaction-on-rolling-event-log-files) dalam dokumentasi Spark.
Untuk mengaktifkan fitur penggulungan dan pemadatan log peristiwa Spark, aktifkan pengaturan konfigurasi Spark berikut.
+ `spark.eventLog.rolling.enabled`— Menghidupkan log acara bergulir berdasarkan ukuran. Pengaturan ini dinonaktifkan secara default.
+ `spark.eventLog.rolling.maxFileSize`— Saat penggulungan diaktifkan, tentukan ukuran maksimum file log peristiwa sebelum berguling. Defaultnya adalah 128 MB.
+ `spark.history.fs.eventLog.rolling.maxFilesToRetain`- Menentukan jumlah maksimum file log peristiwa non-dipadatkan untuk mempertahankan. Secara default, semua file log peristiwa dipertahankan. Setel ke angka yang lebih rendah untuk memadatkan log peristiwa lama. Nilai terendah adalah 1.
Perhatikan bahwa pemadatan mencoba untuk mengecualikan peristiwa dengan file log peristiwa yang sudah ketinggalan zaman, seperti berikut ini. Jika tidak membuang peristiwa, Anda tidak lagi melihatnya di UI Server Riwayat Spark.
+ Acara untuk pekerjaan jadi dan acara panggung atau tugas terkait.
+ Acara untuk pelaksana yang dihentikan.
+ Acara untuk menyelesaikan pertanyaan SQL, dan acara pekerjaan, panggung, dan tugas terkait.
**Untuk meluncurkan cluster dengan penggulungan dan pemadatan diaktifkan**
1. Buat `spark-configuration.json` file dengan konfigurasi berikut.
```
[
{
"Classification": "spark-defaults",
"Properties": {
"spark.eventLog.rolling.enabled": true,
"spark.history.fs.eventLog.rolling.maxFilesToRetain": 1
}
}
]
```
1. Buat cluster Anda dengan konfigurasi pemadatan bergulir Spark sebagai berikut.
```
aws emr create-cluster \
--release-label emr-6.6.0 \
--instance-type m4.large \
--instance-count 2 \
--use-default-roles \
--configurations file://spark-configuration.json
```
## Izin untuk melihat antarmuka pengguna aplikasi persisten
Contoh berikut menunjukkan izin peran yang diperlukan untuk akses ke antarmuka pengguna aplikasi persisten. Untuk cluster dengan peran runtime diaktifkan, ini hanya akan memungkinkan pengguna untuk mengakses aplikasi yang dikirimkan oleh identitas pengguna dan peran runtime yang sama.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"elasticmapreduce:CreatePersistentAppUI",
"elasticmapreduce:DescribePersistentAppUI"
],
"Resource": [
"arn:aws:elasticmapreduce:*:123456789012:cluster/clusterId"
],
"Sid": "AllowELASTICMAPREDUCECreatepersistentappui"
},
{
"Effect": "Allow",
"Action": [
"elasticmapreduce:GetPersistentAppUIPresignedURL"
],
"Resource": [
"arn:aws:elasticmapreduce:*:123456789012:cluster/clusterId",
"arn:aws:elasticmapreduce:*:123456789012:persistent-app-ui/*"
],
"Condition": {
"StringEqualsIfExists": {
"elasticmapreduce:ExecutionRoleArn": [
"arn:aws:iam::123456789012:role/executionRoleArn"
]
}
},
"Sid": "AllowELASTICMAPREDUCEGetpersistentappuipresignedurl"
}
]
}
```
------
Contoh berikut menunjukkan izin peran yang diperlukan untuk menghapus pembatasan tampilan aplikasi di antarmuka pengguna aplikasi persisten untuk klaster yang diaktifkan peran runtime.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"elasticmapreduce:CreatePersistentAppUI",
"elasticmapreduce:DescribePersistentAppUI",
"elasticmapreduce:AccessAllEventLogs"
],
"Resource": [
"arn:aws:elasticmapreduce:us-east-1:123456789012:cluster/j-XXXXXXXXXXXXX"
],
"Sid": "AllowELASTICMAPREDUCECreatepersistentappui"
},
{
"Effect": "Allow",
"Action": [
"elasticmapreduce:GetPersistentAppUIPresignedURL"
],
"Resource": [
"arn:aws:elasticmapreduce:us-east-1:123456789012:cluster/j-XXXXXXXXXXXXX",
"arn:aws:elasticmapreduce:us-east-1:123456789012:persistent-app-ui/*"
],
"Condition": {
"StringEqualsIfExists": {
"elasticmapreduce:ExecutionRoleArn": [
"arn:aws:iam::123456789012:role/YourExecutionRoleName"
]
}
},
"Sid": "AllowELASTICMAPREDUCEGetpersistentappuipresignedurl"
}
]
}
```
------
## Pertimbangan dan batasan
Akses sekali klik ke antarmuka pengguna aplikasi persisten saat ini memiliki batasan berikut.
+ Akan ada setidaknya dua menit penundaan ketika detail aplikasi muncul pada UI Server Riwayat Spark.
+ Fitur ini bekerja hanya ketika direktori log peristiwa untuk aplikasi berada dalam HDFS. Secara default, Amazon EMR menyimpan log peristiwa di dalam direktori HDFS. Jika Anda mengubah direktori default ke sistem file yang berbeda, seperti Amazon S3, fitur ini tidak akan bekerja.
+ Fitur ini saat ini tidak tersedia untuk klaster EMR dengan beberapa simpul utama atau untuk klaster EMR yang terintegrasi dengan AWS Lake Formation.
+ Untuk mengaktifkan akses sekali klik ke antarmuka pengguna aplikasi persisten, Anda harus memiliki izin untuk`CreatePersistentAppUI`, `DescribePersistentAppUI` dan `GetPersistentAppUIPresignedURL` tindakan untuk Amazon EMR. Jika Anda menolak izin kepala IAM untuk tindakan ini, dibutuhkan sekitar lima menit agar perubahan izin menyebar.
+ Jika klaster adalah klaster yang diaktifkan peran runtime, saat mengakses Server Riwayat Spark dari UI Aplikasi Persisten, pengguna hanya akan dapat mengakses pekerjaan Spark jika pekerjaan Spark dikirimkan oleh peran runtime.
+ Jika klaster adalah klaster yang diaktifkan peran runtime, setiap pengguna hanya dapat mengakses aplikasi yang dikirimkan oleh identitas pengguna dan peran runtime yang sama.
+ `AccessAllEventLogs`Tindakan untuk Amazon EMR diperlukan untuk melihat semua aplikasi dalam antarmuka pengguna aplikasi persisten untuk klaster yang diaktifkan peran runtime.
+ Jika Anda mengkonfigurasi ulang aplikasi dalam sebuah klaster berjalan, riwayat aplikasi akan tidak tersedia melalui UI aplikasi.
+ Untuk masing-masing Akun AWS, batas default untuk aplikasi aktif UIs adalah 200.
+ Berikut ini Wilayah AWS, Anda dapat mengakses aplikasi UIs dari konsol dengan Amazon EMR 6.14.0 dan yang lebih tinggi:
+ Asia Pasifik (Jakarta) (ap-southeast-3)
+ Eropa (Spanyol) (eu-south-2)
+ Asia Pasifik (Melbourne) (ap-southeast-4)
+ Israel (Tel Aviv) (il-central-1)
+ Timur Tengah (UEA) (me-central-1)
+ Berikut ini Wilayah AWS, Anda dapat mengakses aplikasi UIs dari konsol dengan Amazon EMR 5.25.0 dan yang lebih tinggi:
+ US East (N. Virginia) (us-east-1)
+ US West (Oregon) (us-west-2)
+ Asia Pacific (Mumbai) (ap-south-1)
+ Asia Pacific (Seoul) (ap-northeast-2)
+ Asia Pasifik (Singapura) (ap-southeast-1)
+ Asia Pacific (Sydney) (ap-southeast-2)
+ Asia Pacific (Tokyo) (ap-northeast-1)
+ Kanada (Pusat) (ca-central-1)
+ Amerika Selatan (Sao Paulo) (sa-east-1)
+ Eropa (Frankfurt) (eu-central-1)
+ Eropa (Irlandia) (eu-west-1)
+ Eropa (London) (eu-west-2)
+ Eropa (Paris) (eu-west-3)
+ Eropa (Stockholm) (eu-north-1)
+ Tiongkok (Beijing) (cn-utara-1)
+ Tiongkok (Ningxia) (cn-barat laut-1)
# Lihat riwayat aplikasi tingkat tinggi di Amazon EMR
**catatan**
Sebaiknya gunakan antarmuka aplikasi persisten untuk meningkatkan pengalaman pengguna yang mempertahankan riwayat aplikasi hingga 30 hari. Riwayat aplikasi tingkat tinggi yang dijelaskan di halaman ini tidak tersedia di konsol EMR Amazon baru [https://console.aws.amazon.com(](https://console.aws.amazon.com/emr)/emr). Untuk informasi selengkapnya, lihat [Lihat antarmuka pengguna aplikasi persisten di Amazon EMR](app-history-spark-UI.md).
**Dengan Amazon EMR merilis 5.8.0 hingga 5.36.0 dan 6.x rilis hingga 6.8.0, Anda dapat melihat riwayat aplikasi tingkat tinggi dari tab antarmuka pengguna Aplikasi di konsol EMR Amazon lama.** **Antarmuka pengguna Aplikasi** Amazon EMR menyimpan ringkasan riwayat aplikasi selama 7 hari setelah aplikasi selesai.
## Pertimbangan dan batasan
Pertimbangkan batasan berikut saat Anda menggunakan tab **Antarmuka pengguna Aplikasi** di konsol EMR Amazon lama.
+ Anda hanya dapat mengakses fitur riwayat aplikasi tingkat tinggi saat menggunakan Amazon EMR rilis 5.8.0 hingga 5.36.0 dan 6.x rilis hingga 6.8.0. Efektif 23 Januari 2023, Amazon EMR akan menghentikan riwayat aplikasi tingkat tinggi untuk semua versi. Jika Anda menggunakan Amazon EMR versi 5.25.0 atau lebih tinggi, kami sarankan Anda menggunakan antarmuka pengguna aplikasi persisten sebagai gantinya.
+ Fitur riwayat aplikasi tingkat tinggi tidak mendukung aplikasi Spark Streaming.
+ Akses sekali klik ke antarmuka pengguna aplikasi persisten saat ini tidak tersedia untuk kluster EMR Amazon dengan beberapa node master atau untuk kluster EMR Amazon yang terintegrasi dengannya. AWS Lake Formation
## Contoh: Melihat riwayat aplikasi tingkat tinggi
Urutan berikut menunjukkan penelusuran melalui aplikasi Spark atau YARN ke detail pekerjaan menggunakan tab **antarmuka pengguna Aplikasi** pada halaman detail cluster konsol lama.
Untuk melihat detail klaster, pilih **Nama** klaster dari daftar **Klaster**. Untuk melihat informasi tentang log kontainer YARN, Anda harus mengaktifkan logging untuk klaster Anda. Untuk informasi selengkapnya, lihat [Mengkonfigurasi logging dan debug klaster](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html). Untuk riwayat aplikasi Spark, informasi yang diberikan dalam tabel ringkasan hanya merupakan bagian dari informasi yang tersedia melalui UI server riwayat Spark.
Di tab **Antarmuka pengguna aplikasi** di bawah **Riwayat aplikasi tingkat tinggi**, Anda dapat memperluas baris untuk menampilkan ringkasan diagnostik untuk aplikasi Spark atau memilih tautan **ID Aplikasi** untuk melihat detail tentang aplikasi yang berbeda.
![\[Application user interfaces tab showing persistent and on-klaster UIs, with YARN application history.\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/images/app-history-app.png)
Bila Anda memilih tautan **ID Aplikasi**, UI berubah untuk menampilkan detail **Aplikasi YARN** untuk aplikasi tersebut. Di tab **Pekerjaan** pada detail **Aplikasi YARN**, Anda dapat memilih tautan **Deskripsi** agar pekerjaan menampilkan detail untuk pekerjaan tersebut.
![\[YARN application details showing job history with completed Spark tasks and their statuses.\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/images/app-history-job-1.png)
Pada halaman detail pekerjaan, Anda dapat memperluas informasi tentang tahapan pekerjaan individu, dan kemudian pilih tautan **Deskripsi** untuk melihat detail tahapan.
![\[EMR klaster interface showing persistent and on-klaster application UIs, with job details and stages.\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/images/app-history-job-2.png)
Pada halaman detail tahapan, Anda dapat melihat metrik kunci untuk tugas dan pelaksana tahapan. Anda juga dapat melihat log tugas dan pelaksana menggunakan tautan **Lihat log**.
![\[Application history page showing task metrics, executor details, and log access links for a Spark job.\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/images/app-history-job-3.png)