Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Menggunakan Amazon EMR Studio
Bagian ini berisi topik yang membantu Anda mengonfigurasi dan berinteraksi dengan Amazon EMR Studio.
Video berikut mencakup informasi praktis seperti cara membuat Workspace baru, dan cara meluncurkan klaster EMR Amazon baru dengan template cluster. Video juga berjalan melalui contoh notebook.
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/rZ3zeJ6WKPY)
**Topics**
+ [
# Pelajari ruang kerja EMR Studio
](emr-studio-configure-workspace.md)
+ [
# Konfigurasikan kolaborasi Workspace di EMR Studio
](emr-studio-workspace-collaboration.md)
+ [
# Jalankan EMR Studio Workspace dengan peran runtime
](emr-studio-runtime.md)
+ [
# Jalankan notebook Amazon EMR Studio Workspace Workspace secara terprogram
](emr-studio-run-programmatically.md)
+ [
# Jelajahi data dengan SQL Explorer untuk EMR Studio
](emr-studio-sql-explorer.md)
+ [
# Lampirkan komputasi ke Ruang Kerja EMR Studio
](emr-studio-create-use-clusters.md)
+ [
# Menautkan repositori berbasis Git ke Workspace EMR Studio
](emr-studio-git-repo.md)
+ [
# Gunakan editor SQL Amazon Athena di EMR Studio
](emr-studio-athena.md)
+ [
# CodeWhisperer Integrasi Amazon dengan EMR Studio Workspaces
](emr-studio-codewhisperer.md)
+ [
# Debug aplikasi dan pekerjaan dengan EMR Studio
](emr-studio-debug.md)
+ [
# Instal kernel dan pustaka di Ruang Kerja EMR Studio
](emr-studio-install-libraries-and-kernels.md)
+ [
# Tingkatkan kernel dengan magic perintah di EMR Studio
](emr-studio-magics.md)
+ [
# Gunakan notebook multi-bahasa dengan kernel Spark
](emr-multi-language-kernels.md)
# Pelajari ruang kerja EMR Studio
Saat Anda menggunakan EMR Studio, Anda dapat membuat dan mengonfigurasi *Ruang Kerja* yang berbeda untuk mengatur dan menjalankan buku catatan. Bagian ini mencakup pembuatan dan bekerja dengan Workspaces. Untuk ikhtisar konseptual, lihat [Workspace](how-emr-studio-works.md#emr-studio-workspaces) di [Cara Kerja Amazon EMR Studio](how-emr-studio-works.md) halaman.
**Topics**
+ [
# Membuat Workspace EMR Studio
](emr-studio-create-workspace.md)
+ [
# Luncurkan Ruang Kerja di EMR Studio
](emr-studio-use-workspace.md)
+ [
# Memahami antarmuka pengguna Workspace di EMR Studio
](emr-studio-workspace-ui.md)
+ [
# Jelajahi contoh notebook di ruang kerja EMR Studio
](emr-studio-notebook-examples.md)
+ [
# Menyimpan konten Workspace di EMR Studio
](emr-studio-save-workspace.md)
+ [
# Menghapus file Workspace dan notebook di EMR Studio
](emr-studio-delete-workspace.md)
+ [
# Memahami status Workspace
](emr-studio-workspace-status.md)
+ [
# Mengatasi masalah konektivitas Workspace
](emr-studio-workspace-stop-start.md)
# Membuat Workspace EMR Studio
Anda dapat membuat Workspace EMR Studio untuk menjalankan kode notebook menggunakan antarmuka EMR Studio.
**Membuat Workspace di EMR Studio**
1. Masuk ke EMR Studio Anda.
1. Pilih **Buat Ruang Kerja**.
1. Masukkan **Nama Workspace** dan **Deskripsi**. Penamaan Workspace membantu Anda mengidentifikasinya di halaman **Workspaces**.
1. Jika Anda ingin bekerja dengan pengguna Studio lain di Workspace ini secara real time, aktifkan kolaborasi Workspace. Anda dapat mengonfigurasi kolaborator setelah meluncurkan Workspace.
1. Jika Anda ingin melampirkan cluster ke Workspace, perluas bagian **Konfigurasi lanjutan**. Anda dapat melampirkan cluster nanti, jika Anda mau. Untuk informasi selengkapnya, lihat [Lampirkan komputasi ke Ruang Kerja EMR Studio](emr-studio-create-use-clusters.md).
**catatan**
Untuk menyediakan klaster baru, Anda memerlukan izin akses dari administrator Anda.
Pilih salah satu opsi cluster untuk Workspace dan lampirkan cluster. Untuk informasi lebih lanjut tentang penyediaan klaster ketika Anda membuat Workspace, lihat [Membuat dan melampirkan cluster EMR baru ke EMR Studio Workspace](emr-studio-create-use-clusters.md#emr-studio-create-cluster).
1. Pilih **Buat Ruang Kerja** di kanan bawah halaman.
Setelah Anda membuat Workspace, EMR Studio akan membuka halaman Workspaces**.** Anda akan melihat spanduk sukses hijau di bagian atas halaman dan dapat menemukan Workspace yang baru dibuat dalam daftar.
Secara default, Workspace dibagikan dan dapat dilihat oleh semua pengguna Studio. Namun, hanya satu pengguna yang dapat membuka dan bekerja di Workspace pada satu waktu. Untuk bekerja secara bersamaan dengan pengguna lain, Anda bisa [Konfigurasikan kolaborasi Workspace di EMR Studio](emr-studio-workspace-collaboration.md)
# Luncurkan Ruang Kerja di EMR Studio
Untuk mulai bekerja dengan file notebook, luncurkan Workspace untuk mengakses editor notebook. Halaman **Ruang Kerja** di Studio mencantumkan semua Ruang Kerja yang dapat Anda akses dengan detail termasuk **Nama**, **Status**, **Waktu pembuatan**, dan **Terakhir** dimodifikasi.
**catatan**
Jika Anda memiliki notebook EMR di konsol EMR Amazon lama, Anda dapat menemukannya di konsol sebagai EMR Studio Workspaces. Pengguna EMR Notebooks memerlukan izin peran IAM tambahan untuk mengakses atau membuat Ruang Kerja. Jika Anda baru saja membuat buku catatan di konsol lama, Anda mungkin perlu menyegarkan daftar Workspaces untuk melihatnya di konsol. Untuk informasi selengkapnya tentang transisi, lihat [Amazon EMR Notebooks tersedia sebagai Amazon EMR Studio Workspaces di konsol](emr-managed-notebooks-migration.md) dan [Mengelola cluster EMR Amazon dengan konsol](whats-new-in-console.md)
**Untuk meluncurkan Workspace untuk mengedit dan menjalankan notebook**
1. Pada halaman **Workspaces** Studio Anda, temukan Workspace. Anda dapat memfilter daftar dengan kata kunci atau dengan nilai kolom.
1. Pilih nama Workspace untuk meluncurkan Workspace di tab browser baru. Mungkin perlu waktu beberapa menit agar Workspace terbuka jika dalam keadaan **Diam**. Atau, pilih baris untuk Workspace dan kemudian pilih **Launch Workspace**. Anda dapat memilih dari opsi peluncuran berikut:
+ **Peluncuran cepat** - Luncurkan Workspace Anda dengan cepat dengan opsi default. Pilih **Peluncuran cepat** jika Anda ingin melampirkan cluster ke Workspace di. JupyterLab
+ **Luncurkan dengan opsi** - Luncurkan Ruang Kerja Anda dengan opsi khusus. Anda dapat memilih untuk meluncurkan di Jupyter atau JupyterLab, melampirkan Workspace Anda ke klaster EMR, dan memilih grup keamanan Anda.
**catatan**
Hanya satu pengguna dapat membuka dan bekerja di Workspace pada satu waktu. Jika Anda memilih Workspace yang sudah digunakan, EMR Studio akan menampilkan notifikasi saat Anda mencoba membukanya. Kolom **Pengguna** pada halaman **Workspaces** menunjukkan pengguna yang bekerja di Workspace.
# Memahami antarmuka pengguna Workspace di EMR Studio
Antarmuka pengguna EMR Studio Workspace didasarkan pada [JupyterLabantarmuka](https://jupyterlab.readthedocs.io/en/latest/user/interface.html) dengan tab yang dilambangkan ikon di bilah sisi kiri. Saat Anda mengarahkan kursor di atas ikon, Anda dapat melihat tooltip yang menunjukkan nama tab. Pilih tab dari bar sisi kiri untuk mengakses panel berikut.
+ **File Browser** - Menampilkan file dan direktori di Workspace, serta file dan direktori dari repositori Git tertaut.
+ **Menjalankan Kernel dan Terminal** - Daftar semua kernel dan terminal yang berjalan di Workspace. Untuk informasi selengkapnya, lihat [Mengelola kernel dan terminal](https://jupyterlab.readthedocs.io/en/latest/user/running.html) dalam JupyterLab dokumentasi resmi.
+ **Git** — Menyediakan antarmuka pengguna grafis untuk melakukan perintah di repositori Git yang dilampirkan ke Workspace. Panel ini adalah JupyterLab ekstensi yang disebut jupyterlab-git. Untuk informasi lebih lanjut, lihat [jupyterlab-git](https://github.com/jupyterlab/jupyterlab-git).
+ **Kluster EMR** — Memungkinkan Anda melampirkan cluster ke atau melepaskan cluster dari Workspace untuk menjalankan kode notebook. Panel konfigurasi cluster EMR juga menyediakan opsi konfigurasi lanjutan untuk membantu Anda membuat dan melampirkan cluster *baru* ke Workspace. Untuk informasi selengkapnya, lihat [Membuat dan melampirkan cluster EMR baru ke EMR Studio Workspace](emr-studio-create-use-clusters.md#emr-studio-create-cluster).
+ **Amazon EMR Git Repository** - Membantu Anda menautkan Workspace dengan hingga tiga repositori Git. Untuk detail dan instruksinya, lihat [Menautkan repositori berbasis Git ke Workspace EMR Studio](emr-studio-git-repo.md).
+ **Contoh Notebook** - Menyediakan daftar contoh buku catatan yang dapat Anda simpan ke Workspace. Anda juga dapat mengakses contoh dengan memilih **Contoh Notebook** di halaman **Peluncur** Ruang Kerja.
+ **Perintah** — Menawarkan cara yang digerakkan oleh keyboard untuk mencari dan menjalankan perintah. JupyterLab Untuk informasi selengkapnya, lihat halaman [Command palette](https://jupyterlab.readthedocs.io/en/latest/user/commands.html) di JupyterLab dokumentasi.
+ **Alat Notebook** – Memungkinkan Anda memilih dan mengatur pilihan, seperti jenis sel slide dan metadata. Opsi **Alat Notebook** muncul di bilah sisi kiri setelah Anda membuka file buku catatan.
+ **Buka Tab** — Daftar dokumen dan aktivitas terbuka di area kerja utama sehingga Anda dapat melompat ke tab yang terbuka. Untuk informasi selengkapnya, lihat halaman [mode Tab dan dokumen tunggal](https://jupyterlab.readthedocs.io/en/latest/user/interface.html#tabs-and-single-document-mode) dalam dokumentasi. JupyterLab
+ **Kolaborasi** - Memungkinkan Anda mengaktifkan atau menonaktifkan kolaborasi Workspace, dan mengelola kolaborator. Untuk melihat panel **Kolaborasi**, Anda harus memiliki izin yang diperlukan. Untuk informasi selengkapnya, lihat [Menetapkan kepemilikan untuk kolaborasi Workspace](emr-studio-user-permissions.md#emr-studio-workspace-collaboration-permissions).
# Jelajahi contoh notebook di ruang kerja EMR Studio
Setiap EMR Studio Workspace menyertakan serangkaian contoh notebook yang dapat Anda gunakan untuk menjelajahi fitur EMR Studio. Untuk mengedit atau menjalankan contoh notebook, Anda dapat menyimpannya ke Workspace.
**Untuk menyimpan contoh notebook ke Workspace**
1. Dari bar sisi kiri, pilih tab **Contoh Notebook** untuk membuka panel **Contoh Notebook**. Anda juga dapat mengakses contoh dengan memilih **Contoh Notebook** di halaman **Peluncur** Ruang Kerja.
1. Pilih contoh notebook untuk melihat pratinjau di area kerja utama. Contohnya berformat hanya-baca.
1. Untuk menyimpan contoh notebook ke Workspace, pilih **Save to Workspace**. EMR Studio menyimpan contoh di direktori beranda Anda. Setelah menyimpan contoh notebook ke Workspace, Anda dapat mengganti nama, mengedit, dan menjalankannya.
Untuk informasi selengkapnya tentang contoh notebook, lihat repositori [contoh GitHub Notebook EMR Studio](https://github.com/aws-samples/emr-studio-notebook-examples).
# Menyimpan konten Workspace di EMR Studio
Saat Anda bekerja di editor notebook Workspace, EMR Studio menyimpan konten sel notebook dan output untuk Anda di lokasi Amazon S3 yang terkait dengan Studio. Proses pencadangan ini mempertahankan pekerjaan antar sesi.
**Anda juga dapat menyimpan buku catatan dengan menekan **CTRL\$1S** di tab notebook terbuka atau dengan menggunakan salah satu opsi simpan di bawah File.**
Cara lain untuk mencadangkan file notebook di Workspace adalah dengan mengaitkan Workspace dengan repositori berbasis Git dan menyinkronkan perubahan Anda dengan repositori jarak jauh. Melakukannya juga memungkinkan Anda menyimpan dan berbagi buku catatan dengan anggota tim yang menggunakan Ruang Kerja atau Studio yang berbeda. Untuk petunjuk, lihat [Menautkan repositori berbasis Git ke Workspace EMR Studio](emr-studio-git-repo.md).
# Menghapus file Workspace dan notebook di EMR Studio
Saat menghapus file notebook dari EMR Studio Workspace, Anda menghapus file dari **browser File**, dan EMR Studio menghapus salinan cadangannya di Amazon S3. Anda tidak perlu mengambil langkah lebih lanjut untuk menghindari biaya penyimpanan saat menghapus file dari Workspace.
Saat Anda menghapus *seluruh Workspace*, file dan folder notebook akan tetap berada di lokasi penyimpanan Amazon S3. File terus bertambah biaya penyimpanan. Untuk menghindari biaya penyimpanan, hapus semua file dan folder cadangan yang terkait dengan Workspace yang dihapus dari Amazon S3.
**Untuk menghapus file notebook dari Workspace EMR Studio**
1. Pilih panel **File browser** dari sidebar kiri di Workspace.
1. Pilih file atau folder yang ingin Anda hapus. Klik kanan pada pilihan, lalu pilih **Hapus**. File menghilang dari daftar. EMR Studio menghapus file atau folder dari Amazon S3 untuk Anda.
------
#### [ From the Workspace UI ]
**Menghapus Workspace dan file cadangan terkait dari EMR Studio**
1. Login ke EMR Studio dengan URL akses Studio dan pilih **Worksapce**dari navigasi kiri.
1. Temukan Workspace Anda dalam daftar, lalu pilih kotak centang di samping namanya. Anda dapat memilih beberapa Workspace untuk dihapus pada saat yang sama.
1. Pilih **Hapus** di kanan atas daftar **Workspace** dan konfirmasi bahwa Anda ingin menghapus Workspace yang dipilih. Pilih **Hapus** untuk mengonfirmasi.
1. Jika Anda ingin menghapus file notebook yang dikaitkan dengan Workspace yang dihapus dari Amazon S3, ikuti petunjuk [untuk Menghapus](https://docs.aws.amazon.com/AmazonS3/latest/user-guide/delete-objects.html) objek di Panduan Pengguna *Amazon Simple Storage* *Service* Console. Jika Anda tidak membuat Studio, konsultasikan administrator Studio Anda untuk menentukan lokasi cadangan Amazon S3 untuk Workspace yang dihapus.
------
#### [ From the Workspaces list ]
**Menghapus Workspace dan file cadangan terkait dari daftar Workspaces**
1. Arahkan ke daftar **Workspace** di konsol.
1. Pilih Workspace yang ingin Anda hapus dari daftar dan kemudian pilih **Tindakan**.
1. Pilih **Hapus**.
1. Jika Anda ingin menghapus file notebook yang dikaitkan dengan Workspace yang dihapus dari Amazon S3, ikuti petunjuk [untuk Menghapus](https://docs.aws.amazon.com/AmazonS3/latest/user-guide/delete-objects.html) objek di Panduan Pengguna *Amazon Simple Storage* *Service* Console. Jika Anda tidak membuat Studio, konsultasikan administrator Studio Anda untuk menentukan lokasi cadangan Amazon S3 untuk Workspace yang dihapus.
------
# Memahami status Workspace
Setelah Anda membuat EMR Studio Workspace, EMR Studio akan muncul sebagai baris dalam daftar **Workspaces** di Studio Anda dengan nama, status, waktu pembuatan, dan stempel waktu terakhir yang dimodifikasi. Tabel berikut menjelaskan status Workspace.
****
| Status | Deskripsi |
| --- | --- |
| Starting | Workspace sedang dipersiapkan, tetapi belum siap digunakan. Anda tidak dapat membuka Workspace ketika statusnya Memulai. |
| Siap | Anda dapat membuka Workspace untuk menggunakan editor notebook, tetapi Anda harus melampirkan Workspace ke klaster EMR sebelum dapat menjalankan kode notebook. |
| Melampirkan | Workspace sedang dilampirkan ke klaster. |
| Terlampir | Workspace terlampir ke klaster EMR dan siap bagi Anda untuk menulis dan menjalankan kode notebook. Jika status Workspace tidak Terlampir, Anda harus melampirkannya ke suatu klaster sebelum Anda dapat menjalankan kode notebook. |
| Menganggur | Ruang kerja telah berhenti. Untuk mengaktifkan kembali Workspace yang diam, pilih dari daftar Workspace. Status berubah dari Diam ke Memulai ke Siap ketika Anda memilih Workspace. |
| Stopping | Workspace dimatikan dan akan diatur ke Idle. Saat Anda menghentikan Workspace, Workspace akan menghentikan kernel notebook yang sesuai. EMR Studio menghentikan notebook yang tidak aktif untuk waktu lama. |
| Deleting | Ketika Anda menghapus Workspace, EMR Studio menandainya untuk penghapusan dan memulai proses penghapusan. Setelah proses penghapusan selesai, Workspace menghilang dari daftar. Saat Anda menghapus Workspace, file notebook akan tetap berada di lokasi penyimpanan Amazon S3. |
# Mengatasi masalah konektivitas Workspace
Untuk mengatasi masalah konektivitas Workspace, Anda dapat menghentikan dan memulai ulang Workspace. Saat Anda me-restart Workspace, EMR Studio meluncurkan Workspace di Availability Zone yang berbeda atau subnet lain yang terkait dengan Studio Anda.
**Untuk menghentikan dan memulai ulang Ruang Kerja EMR Studio**
1. Tutup Workspace di browser Anda.
1. Arahkan ke daftar **Workspace** di konsol.
1. Pilih Workspace Anda dari daftar dan pilih **Tindakan**.
1. Pilih **Berhenti** dan tunggu status Workspace berubah dari **Berhenti** ke **Idle**.
1. Pilih **Tindakan** lagi, lalu pilih **Mulai untuk memulai** ulang Workspace.
1. Tunggu status Workspace berubah dari **Mulai** ke **Siap**, lalu pilih nama Workspace untuk membukanya kembali di tab browser baru.
# Konfigurasikan kolaborasi Workspace di EMR Studio
Kolaborasi ruang kerja memungkinkan Anda menulis dan menjalankan kode buku catatan secara bersamaan dengan anggota tim Anda yang lain. Saat Anda bekerja di file buku catatan yang sama, Anda akan melihat perubahan saat kolaborator membuatnya. Anda dapat mengaktifkan kolaborasi saat membuat Workspace, atau mengaktifkan dan menonaktifkan kolaborasi di Workspace yang ada.
**catatan**
Kolaborasi EMR Studio Workspace tidak didukung dengan [aplikasi interaktif EMR Tanpa Server](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/interactive-workloads.html) atau jika propagasi identitas tepercaya diaktifkan.
**Prasyarat**
Sebelum Anda mengonfigurasi kolaborasi untuk Workspace, pastikan Anda menyelesaikan tugas-tugas berikut:
+ Pastikan admin EMR Studio Anda telah memberi Anda izin yang diperlukan. Misalnya, pernyataan berikut memungkinkan pengguna mengonfigurasi kolaborasi untuk Workspace apa pun dengan kunci tag `creatorUserId` yang nilainya cocok dengan ID pengguna (ditunjukkan oleh variabel kebijakan`aws:userId`).
```
{
"Sid": "UserRolePermissionsForCollaboration",
"Action": [
"elasticmapreduce:UpdateEditor",
"elasticmapreduce:PutWorkspaceAccess",
"elasticmapreduce:DeleteWorkspaceAccess",
"elasticmapreduce:ListWorkspaceAccessIdentities"
],
"Resource": "*",
"Effect": "Allow",
"Condition": {
"StringEquals": {
"elasticmapreduce:ResourceTag/creatorUserId": "${aws:userid}"
}
}
}
```
+ Pastikan bahwa peran layanan yang terkait dengan EMR Studio Anda memiliki izin yang diperlukan untuk mengaktifkan dan mengonfigurasi kolaborasi Workspace, seperti pada pernyataan contoh berikut.
```
{
"Sid": "AllowWorkspaceCollaboration",
"Effect": "Allow",
"Action": [
"iam:GetUser",
"iam:GetRole",
"iam:ListUsers",
"iam:ListRoles",
"sso:GetManagedApplicationInstance",
"sso-directory:SearchUsers"
],
"Resource": "*"
}
```
Untuk informasi selengkapnya, lihat [Membuat peran layanan EMR Studio](emr-studio-service-role.md).
**Untuk mengaktifkan kolaborasi Workspace dan menambahkan kolaborator**
1. Di Workspace Anda, pilih ikon **Kolaborasi** dari layar Launcher atau bagian bawah panel kiri.
**catatan**
Anda tidak akan melihat panel **Kolaborasi** kecuali admin Studio Anda telah memberi Anda izin untuk mengonfigurasi kolaborasi untuk Workspace. Untuk informasi selengkapnya, lihat [Menetapkan kepemilikan untuk kolaborasi Workspace](emr-studio-user-permissions.md#emr-studio-workspace-collaboration-permissions).
1. Pastikan toggle **Izinkan kolaborasi Workspace** berada di posisi aktif. Bila Anda mengaktifkan kolaborasi, hanya Anda dan kolaborator yang Anda tambahkan yang dapat melihat Workspace dalam daftar di halaman Studio **Workspaces**.
1. Masukkan **nama Kolaborator**. Ruang kerja Anda dapat memiliki maksimal lima kolaborator termasuk Anda sendiri. Kolaborator dapat berupa pengguna mana pun yang memiliki akses ke EMR Studio Anda. Jika Anda tidak memasukkan kolaborator, Workspace adalah Workspace pribadi yang hanya dapat diakses oleh Anda.
Tabel berikut menentukan nilai kolaborator yang berlaku untuk dimasukkan berdasarkan tipe identitas pemilik.
**catatan**
Pemilik hanya dapat mengundang kolaborator dengan tipe identitas yang sama. Misalnya, pengguna hanya dapat menambahkan pengguna lain, dan pengguna Pusat Identitas IAM hanya dapat menambahkan pengguna Pusat Identitas IAM lainnya.
****
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/emr-studio-workspace-collaboration.html)
1. Pilih **Tambahkan**. Kolaborator sekarang dapat melihat Workspace di halaman EMR Studio **Workspaces mereka, dan meluncurkan Workspace** untuk menggunakannya secara real time bersama Anda.
**catatan**
Jika Anda menonaktifkan kolaborasi Workspace, Workspace akan kembali ke status bersama dan dapat dilihat oleh semua pengguna Studio. Dalam status bersama, hanya satu pengguna Studio yang dapat membuka dan bekerja di Workspace sekaligus.
# Jalankan EMR Studio Workspace dengan peran runtime
**catatan**
Fungsionalitas peran runtime yang dijelaskan di halaman ini hanya berlaku untuk Amazon EMR yang berjalan di Amazon EC2, dan tidak mengacu pada fungsionalitas peran runtime di aplikasi interaktif EMR Tanpa Server. Untuk mempelajari selengkapnya tentang cara menggunakan peran runtime di EMR Tanpa Server, [lihat Peran runtime Job](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/security-iam-runtime-role.html) di Panduan Pengguna Tanpa Server *Amazon* EMR.
Peran *runtime adalah peran* AWS Identity and Access Management (IAM) yang dapat Anda tentukan saat mengirimkan pekerjaan atau kueri ke klaster EMR Amazon. Pekerjaan atau kueri yang Anda kirimkan ke kluster EMR menggunakan peran runtime untuk mengakses AWS sumber daya, seperti objek di Amazon S3.
Saat melampirkan EMR Studio Workspace ke kluster EMR yang menggunakan Amazon EMR 6.11 atau yang lebih tinggi, Anda dapat memilih peran runtime untuk pekerjaan atau kueri yang Anda kirimkan untuk digunakan saat mengakses sumber daya. AWS Namun, jika klaster EMR tidak mendukung peran runtime, klaster EMR tidak akan mengambil peran saat mengakses sumber daya. AWS
Sebelum Anda dapat menggunakan peran runtime dengan Amazon EMR Studio Workspace, administrator harus mengonfigurasi izin pengguna agar pengguna Studio dapat memanggil `elasticmapreduce:GetClusterSessionCredentials` API pada peran runtime. Kemudian, luncurkan cluster baru dengan peran runtime yang dapat Anda gunakan dengan Amazon EMR Studio Workspace.
**Topics**
+ [
## Konfigurasikan izin pengguna untuk peran runtime
](#emr-studio-runtime-setup-permissions)
+ [
## Luncurkan cluster baru dengan peran runtime
](#emr-studio-runtime-setup-cluster)
+ [
## Gunakan cluster EMR dengan peran runtime di Workspaces
](#emr-studio-runtime-use)
+ [
## Pertimbangan-pertimbangan
](#emr-studio-runtime-considerations)
## Konfigurasikan izin pengguna untuk peran runtime
Konfigurasikan izin pengguna sehingga pengguna Studio dapat memanggil `elasticmapreduce:GetClusterSessionCredentials` API pada peran runtime yang ingin digunakan pengguna. Anda juga harus mengkonfigurasi [Konfigurasikan izin pengguna EMR Studio untuk Amazon EC2 atau Amazon EKS](emr-studio-user-permissions.md) sebelum pengguna dapat mulai menggunakan Studio.
**Awas**
Untuk memberikan izin ini, buat kondisi berdasarkan kunci `elasticmapreduce:ExecutionRoleArn` konteks saat Anda memberikan akses pemanggil untuk memanggil. `GetClusterSessionCredentials` APIs Contoh berikut menunjukkan bagaimana melakukannya.
```
{
"Sid": "AllowSpecificExecRoleArn",
"Effect": "Allow",
"Action": [
"elasticmapreduce:GetClusterSessionCredentials"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"elasticmapreduce:ExecutionRoleArn": [
"arn:aws:iam::111122223333:role/test-emr-demo1",
"arn:aws:iam::111122223333:role/test-emr-demo2"
]
}
}
}
```
Contoh berikut menunjukkan bagaimana mengizinkan prinsipal IAM untuk menggunakan peran IAM bernama `test-emr-demo3` sebagai peran runtime. Selain itu, pemegang polis hanya akan dapat mengakses klaster EMR Amazon dengan ID cluster. `j-123456789`
```
{
"Sid":"AllowSpecificExecRoleArn",
"Effect":"Allow",
"Action":[
"elasticmapreduce:GetClusterSessionCredentials"
],
"Resource": [
"arn:aws:elasticmapreduce::111122223333:cluster/j-123456789"
],
"Condition":{
"StringEquals":{
"elasticmapreduce:ExecutionRoleArn":[
"arn:aws:iam::111122223333:role/test-emr-demo3"
]
}
}
}
```
Contoh berikut memungkinkan prinsipal IAM menggunakan peran IAM apa pun dengan nama yang dimulai dengan string `test-emr-demo4` sebagai peran runtime. Selain itu, pemegang polis hanya akan dapat mengakses kluster EMR Amazon yang ditandai dengan pasangan nilai kunci. `tagKey: tagValue`
```
{
"Sid":"AllowSpecificExecRoleArn",
"Effect":"Allow",
"Action":[
"elasticmapreduce:GetClusterSessionCredentials"
],
"Resource": "*",
"Condition":{
"StringEquals":{
"elasticmapreduce:ResourceTag/tagKey": "tagValue"
},
"StringLike":{
"elasticmapreduce:ExecutionRoleArn":[
"arn:aws:iam::111122223333:role/test-emr-demo4*"
]
}
}
}
```
## Luncurkan cluster baru dengan peran runtime
Setelah Anda memiliki izin yang diperlukan, luncurkan klaster baru dengan peran runtime yang dapat Anda gunakan dengan Amazon EMR Studio Workspace.
Jika Anda telah meluncurkan cluster baru dengan peran runtime, Anda dapat melompat ke [Gunakan cluster EMR dengan peran runtime di Workspaces](#emr-studio-runtime-use) bagian tersebut.
1. Pertama, lengkapi prasyarat di bagian ini. [Peran runtime untuk langkah-langkah EMR Amazon](emr-steps-runtime-roles.md#emr-steps-runtime-roles-configure)
1. Kemudian, luncurkan cluster dengan pengaturan berikut untuk menggunakan peran runtime dengan Amazon EMR Studio Workspaces. Untuk petunjuk tentang cara meluncurkan cluster Anda, lihat[Menentukan konfigurasi keamanan untuk klaster EMR Amazon](emr-specify-security-configuration.md).
+ Pilih label rilis emr-6.11.0 atau yang lebih baru.
+ Pilih Spark, Livy, dan Jupyter Enterprise Gateway sebagai aplikasi cluster Anda.
+ Gunakan konfigurasi keamanan yang Anda buat pada langkah sebelumnya.
+ Secara opsional, Anda dapat mengaktifkan Lake Formation untuk cluster EMR Anda. Untuk informasi selengkapnya, lihat [Aktifkan Lake Formation dengan Amazon EMR](emr-lf-enable.md).
Setelah meluncurkan klaster, Anda siap [menggunakan klaster berkemampuan peran runtime dengan EMR Studio Workspace](#emr-studio-runtime-use).
**catatan**
[ExecutionRoleArn](https://docs.aws.amazon.com/emr/latest/APIReference/API_ExecutionEngineConfig.html #EMR-Type-ExecutionEngineConfig-ExecutionRoleArn)Nilai saat ini tidak didukung dengan operasi [ StartNotebookExecution](https://docs.aws.amazon.com/emr/latest/APIReference/API_StartNotebookExecution.html)API saat `ExecutionEngineConfig.Type` nilainya`EMR`.
## Gunakan cluster EMR dengan peran runtime di Workspaces
Setelah menyiapkan dan meluncurkan klaster, Anda dapat menggunakan klaster berkemampuan peran runtime dengan EMR Studio Workspace.
1. Buat ruang kerja baru atau luncurkan ruang kerja yang ada. Untuk informasi selengkapnya, lihat [Membuat Workspace EMR Studio](emr-studio-create-workspace.md).
1. **Pilih tab **cluster EMR** di bilah sisi kiri Workspace terbuka Anda, perluas bagian **Jenis komputasi**, dan pilih cluster Anda dari cluster **EMR pada menu EC2, dan peran runtime dari menu peran** Runtime.**
![\[Antarmuka pengguna EMR Studio Workspace, berdasarkan JupyterLab antarmuka, dengan tab yang dilambangkan ikon di bilah sisi kiri.\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/images/emr-studio-jupyter-runtime.png)
1. Pilih **Lampirkan** untuk melampirkan cluster dengan peran runtime ke Workspace Anda.
**catatan**
Saat Anda memilih peran runtime, perhatikan bahwa peran tersebut dapat memiliki kebijakan terkelola yang mendasarinya yang terkait dengannya. Dalam kebanyakan kasus, kami sarankan memilih sumber daya terbatas, seperti notebook tertentu. Jika Anda memilih peran runtime yang menyertakan akses untuk semua buku catatan, misalnya, kebijakan terkelola yang terkait dengan peran tersebut menyediakan akses penuh.
## Pertimbangan-pertimbangan
Perhatikan pertimbangan berikut saat Anda menggunakan klaster berkemampuan peran runtime dengan Amazon EMR Studio Workspace:
+ Anda hanya dapat memilih peran runtime saat melampirkan EMR Studio Workspace ke kluster EMR yang menggunakan Amazon EMR rilis 6.11 atau yang lebih tinggi.
+ Fungsionalitas peran runtime yang dijelaskan di halaman ini hanya didukung dengan Amazon EMR yang berjalan di Amazon EC2, dan tidak didukung dengan aplikasi interaktif EMR Tanpa Server. Untuk mempelajari lebih lanjut tentang peran runtime untuk EMR Tanpa Server, [lihat Peran runtime Job](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/security-iam-runtime-role.html) di Panduan Pengguna Tanpa Server *Amazon* EMR.
+ Meskipun Anda perlu mengonfigurasi izin tambahan sebelum dapat menentukan peran runtime saat mengirimkan pekerjaan ke klaster, Anda tidak memerlukan izin tambahan untuk mengakses file yang dihasilkan oleh EMR Studio Workspace. Izin untuk file tersebut sama dengan file yang dihasilkan dari cluster tanpa peran runtime.
+ Anda tidak dapat menggunakan SQL Explorer di EMR Studio Workspace dengan cluster yang memiliki peran runtime. Amazon EMR menonaktifkan SQL Explorer di UI saat Workspace dilampirkan ke kluster EMR yang mendukung peran runtime.
+ Anda tidak dapat menggunakan mode kolaborasi di EMR Studio Workspace dengan klaster yang memiliki peran runtime. Amazon EMR menonaktifkan kemampuan kolaborasi Workspace saat Workspace dilampirkan ke klaster EMR yang mendukung peran runtime. Workspace akan tetap dapat diakses hanya oleh pengguna yang melampirkan Workspace.
+ Anda tidak dapat menggunakan peran runtime di Studio dengan propagasi identitas tepercaya IAM Identity Center diaktifkan.
+ Anda mungkin menemukan peringatan **“Halaman mungkin tidak aman\$1”** dari Spark UI untuk cluster berkemampuan peran runtime yang menggunakan Amazon EMR rilis 7.4.0 dan yang lebih rendah. Jika ini terjadi, lewati peringatan untuk terus melihat UI Spark.
# Jalankan notebook Amazon EMR Studio Workspace Workspace secara terprogram
**catatan**
Eksekusi terprogram notebook tidak didukung dengan aplikasi interaktif Amazon EMR Serverless.
Anda dapat menjalankan notebook Amazon EMR Studio Workspace Anda secara terprogram dengan skrip atau di file. AWS CLI Untuk mempelajari cara menjalankan notebook Anda secara terprogram, lihat. [Contoh perintah terprogram untuk EMR Notebooks](emr-managed-notebooks-headless.md)
# Jelajahi data dengan SQL Explorer untuk EMR Studio
**catatan**
SQL Explorer untuk EMR Studio tidak didukung dengan aplikasi interaktif Amazon EMR Tanpa Server atau di Studio dengan propagasi identitas tepercaya IAM Identity Center diaktifkan.
Topik ini memberikan informasi untuk membantu Anda memulai SQL Explorer di Amazon EMR Studio. SQL Explorer adalah alat satu halaman di Workspace Anda yang membantu Anda memahami sumber data dalam katalog data klaster EMR Anda. Anda dapat menggunakan SQL Explorer untuk menelusuri data Anda, menjalankan kueri SQL untuk mengambil data, dan mengunduh hasil kueri.
SQL Explorer mendukung Presto. Sebelum Anda menggunakan SQL Explorer, pastikan Anda memiliki cluster yang menggunakan Amazon EMR versi 5.34.0 atau yang lebih baru atau versi 6.4.0 atau yang lebih baru dengan Presto diinstal. Amazon EMR Studio SQL Explorer tidak mendukung klaster Presto yang telah Anda konfigurasikan dengan enkripsi dalam perjalanan. Ini karena Presto berjalan dalam mode TLS pada cluster ini.
## Jelajahi katalog data klaster Anda
SQL Explorer menyediakan antarmuka browser katalog yang dapat Anda gunakan untuk menjelajahi dan memahami bagaimana data Anda diatur. Misalnya, Anda dapat menggunakan browser katalog data untuk memverifikasi nama tabel dan kolom sebelum Anda menulis kueri SQL.
**Untuk menelusuri katalog data**
1. Buka SQL Explorer di Workspace Anda.
1. Pastikan Workspace Anda terpasang ke klaster EMR yang berjalan di EC2 yang menggunakan Amazon EMR versi 6.4.0 atau yang lebih baru dengan Presto diinstal. Anda dapat memilih cluster yang ada, atau membuat yang baru. Untuk informasi selengkapnya, lihat [Lampirkan komputasi ke Ruang Kerja EMR Studio](emr-studio-create-use-clusters.md).
1. Pilih **Database** dari daftar dropdown untuk dijelajahi.
1. Perluas tabel di database Anda untuk melihat nama kolom tabel. Anda juga dapat memasukkan kata kunci di bilah pencarian untuk memfilter hasil tabel.
## Jalankan kueri SQL untuk mengambil data
**Untuk mengambil data dengan query SQL dan men-download hasilnya**
1. Buka SQL Explorer di Workspace Anda.
1. Pastikan Workspace Anda terpasang ke cluster EMR yang berjalan di EC2 dengan Presto dan Spark diinstal. Anda dapat memilih cluster yang ada, atau membuat yang baru. Untuk informasi selengkapnya, lihat [Lampirkan komputasi ke Ruang Kerja EMR Studio](emr-studio-create-use-clusters.md).
1. Pilih **Buka editor** untuk membuka tab editor baru di Workspace Anda.
1. Tulis kueri SQL Anda di tab editor.
1. Pilih **Jalankan**.
1. Lihat hasil kueri Anda di bawah **Pratinjau hasil**. SQL Explorer menampilkan 100 hasil pertama secara default. Anda dapat memilih jumlah hasil yang berbeda untuk ditampilkan (hingga 1000) menggunakan menu menu **pratinjau 100 hasil kueri pertama**.
1. Pilih **Unduh hasil** untuk mengunduh hasil Anda dalam format CSV. Anda dapat mengunduh hingga 1000 baris hasil.
# Lampirkan komputasi ke Ruang Kerja EMR Studio
Amazon EMR Studio menjalankan perintah notebook menggunakan kernel pada klaster EMR. Sebelum dapat memilih kernel, Anda harus melampirkan Workspace ke cluster yang menggunakan instans Amazon EC2, ke Amazon EMR di kluster EKS, atau ke aplikasi EMR Tanpa Server. EMR Studio memungkinkan Anda melampirkan Workspace ke klaster baru atau yang sudah ada, dan memberi Anda fleksibilitas untuk mengubah klster tanpa menutup Workspace.
**Topics**
+ [Lampirkan kluster Amazon EC2](#emr-studio-attach-cluster)
+ [Lampirkan EMR Amazon di kluster EKS](#emr-studio-use-eks-cluster)
+ [Lampirkan aplikasi EMR Tanpa Server](#emr-studio-use-serverless-studio)
+ [Membuat klaster](#emr-studio-create-cluster)
+ [Lepaskan komputasi](#emr-studio-detach-cluster)
## Melampirkan klaster Amazon EC2 ke Ruang Kerja EMR Studio
Anda dapat melampirkan kluster EMR yang berjalan di Amazon EC2 ke Workspace saat membuat Workspace, atau melampirkan cluster ke Workspace yang ada. Jika Anda ingin membuat dan melampirkan klaster *baru*, lihat [Membuat dan melampirkan cluster EMR baru ke EMR Studio Workspace](#emr-studio-create-cluster).
**catatan**
Ruang kerja di Studio yang mengaktifkan propagasi identitas tepercaya IAM Identity Center hanya dapat dilampirkan ke klaster EMR dengan konfigurasi keamanan yang mengaktifkan Pusat Identitas.
------
#### [ On create ]
**Lampirkan ke klaster komputasi Amazon EMR saat Anda membuat Workspace**
1. Di kotak dialog **Create a Workspace**, pastikan Anda telah memilih subnet untuk Workspace baru. Perluas bagian **Konfigurasi lanjutan**.
1. Pilih **Lampirkan Workspace ke klaster EMR**.
1. Dalam daftar dropdown **cluster EMR**, pilih cluster EMR yang ada untuk dilampirkan ke Workspace.
Setelah Anda melampirkan cluster, selesaikan pembuatan Workspace. Saat Anda membuka Workspace baru untuk pertama kalinya dan memilih panel kluster **EMR**, Anda akan melihat cluster yang Anda pilih terpasang.
------
#### [ On launch ]
**Lampirkan ke klaster komputasi EMR Amazon saat Anda meluncurkan Workspace**
1. Arahkan ke daftar Workspaces dan pilih baris untuk Workspace yang ingin Anda luncurkan. Kemudian, pilih **Luncurkan Ruang Kerja** > **Luncurkan dengan opsi**.
1. Pilih klaster EMR untuk dilampirkan ke Workspace Anda.
Setelah Anda melampirkan cluster, selesaikan pembuatan Workspace. Saat Anda membuka Workspace baru untuk pertama kalinya dan memilih panel kluster **EMR**, Anda akan melihat cluster yang Anda pilih terpasang.
------
#### [ In JupyterLab ]
**Melampirkan Workspace ke cluster komputasi Amazon EMR di JupyterLab**
1. Pilih Workspace Anda, lalu pilih **Launch Workspace > **Quick** launch**.
1. Di dalam JupyterLab, buka tab **Cluster** di sidebar kiri.
1. Pilih **EMR pada dropdown cluster EC2**, atau pilih Amazon EMR di kluster EKS.
1. Pilih **Lampirkan** untuk melampirkan cluster ke Workspace Anda.
Setelah Anda melampirkan cluster, selesai membuat Workspace. Saat Anda membuka Workspace baru untuk pertama kalinya dan memilih panel kluster **EMR**, Anda akan melihat cluster yang Anda pilih terpasang.
------
#### [ In the Workspace UI ]
**Melampirkan Workspace ke cluster komputasi Amazon EMR dari antarmuka pengguna Workspace**
1. **Di Workspace yang ingin Anda lampirkan ke cluster, pilih ikon cluster **EMR** dari sidebar kiri untuk membuka panel Cluster.**
1. Di bawah **tipe Cluster**, perluas dropdown dan pilih **EMR** cluster pada EC2.
1. Pilih klaster dari daftar dropdown. Anda mungkin perlu melepaskan klaster yang ada terlebih dahulu untuk mengaktifkan daftar dropdown pilihan klaster.
1. Pilih **Lampirkan**. Ketika klaster terlampir, Anda akan melihat pesan berhasil muncul.
------
## Melampirkan EMR Amazon di kluster EKS ke EMR Studio Workspace
Selain menggunakan klaster Amazon EMR yang berjalan di Amazon EC2, Anda dapat melampirkan Workspace untuk EMR Amazon pada klaster EKS untuk menjalankan kode notebook. Untuk informasi selengkapnya tentang Amazon EMR di EKS, lihat [Apa itu Amazon EMR](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/emr-eks.html) di EKS.
Sebelum dapat menghubungkan Workspace ke EMR Amazon di kluster EKS, administrator Studio harus memberi Anda izin akses.
**catatan**
Anda tidak dapat meluncurkan EMR Amazon di kluster EKS di EMR Studio yang menggunakan propagasi identitas tepercaya IAM Identity Center.
------
#### [ On create ]
**Untuk melampirkan EMR Amazon di kluster EKS saat Anda membuat Workspace**
1. Dalam kotak dialog **Create a Workspace**, perluas bagian **Konfigurasi lanjutan**.
1. Pilih **Lampirkan Workspace ke EMR Amazon di** kluster EKS.
1. Di bawah **Amazon EMR di kluster EKS**, pilih cluster dari daftar dropdown.
1. Di bawah **Pilih titik akhir, pilih endpoint** terkelola untuk dilampirkan ke Workspace. Titik akhir terkelola adalah gateway yang memungkinkan EMR Studio berkomunikasi dengan klaster pilihan Anda.
1. Pilih **Buat Ruang Kerja** untuk menyelesaikan proses pembuatan Workspace dan lampirkan cluster yang dipilih.
Setelah melampirkan klaster, Anda dapat menyelesaikan proses pembuatan Workspace. Saat Anda membuka Workspace baru untuk pertama kalinya dan memilih panel kluster **EMR**, Anda akan melihat bahwa cluster yang Anda pilih terpasang.
------
#### [ In the Workspace UI ]
**Untuk melampirkan EMR Amazon di kluster EKS dari antarmuka pengguna Workspace**
1. **Di Workspace yang ingin Anda lampirkan ke cluster, pilih ikon cluster **EMR** dari sidebar kiri untuk membuka panel Cluster.**
1. Perluas dropdown **tipe Cluster dan pilih cluster** **EMR** di EKS.
1. Di bawah **cluster EMR di EKS**, pilih cluster dari daftar dropdown.
1. Di bawah **Endpoint**, pilih endpoint terkelola untuk dilampirkan ke Workspace. Titik akhir terkelola adalah gateway yang memungkinkan EMR Studio berkomunikasi dengan klaster pilihan Anda.
1. Pilih **Lampirkan**. Ketika klaster terlampir, Anda akan melihat pesan berhasil muncul.
------
## Lampirkan aplikasi Amazon EMR Tanpa Server ke EMR Studio Workspace
Anda dapat melampirkan Workspace ke aplikasi EMR Serverless untuk menjalankan beban kerja interaktif. Untuk informasi selengkapnya, lihat [Menggunakan notebook untuk menjalankan beban kerja interaktif dengan EMR Tanpa Server melalui EMR](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/interactive-workloads.html) Studio.
**catatan**
Anda tidak dapat melampirkan aplikasi EMR Tanpa Server ke EMR Studio yang menggunakan propagasi identitas tepercaya IAM Identity Center.
**Example Lampirkan Workspace ke aplikasi EMR Tanpa Server di JupyterLab**
Sebelum Anda dapat menghubungkan Workspace ke aplikasi EMR Tanpa Server, administrator akun Anda harus memberi Anda izin akses seperti yang dijelaskan [dalam](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/interactive-workloads.html#interactive-permissions) Izin yang diperlukan untuk beban kerja interaktif.
1. **Arahkan ke EMR Studio pilih Workspace Anda, lalu pilih Launch Workspace > **Quick launch**.**
1. Di dalam JupyterLab, buka tab **Cluster** di sidebar kiri.
1. Pilih **EMR Tanpa Server** sebagai opsi komputasi, lalu pilih aplikasi EMR Tanpa Server dan peran runtime.
1. Untuk melampirkan cluster ke Workspace Anda, pilih **Lampirkan**.
Sekarang ketika Anda membuka Workspace ini, Anda akan melihat aplikasi yang Anda pilih terlampir.
## Membuat dan melampirkan cluster EMR baru ke EMR Studio Workspace
Pengguna EMR Studio lanjutan dapat menyediakan klaster EMR baru yang berjalan di Amazon EC2 untuk digunakan dengan Workspace. Cluster baru memiliki semua aplikasi data besar yang diperlukan untuk EMR Studio diinstal secara default.
Untuk membuat klaster, administrator Studio Anda harus terlebih dahulu memberikan izin menggunakan kebijakan sesi. Untuk informasi selengkapnya, lihat [Membuat kebijakan izin untuk pengguna EMR Studio](emr-studio-user-permissions.md#emr-studio-permissions-policies).
Anda dapat membuat klaster baru di kotak dialog **Buat Workspace** atau dari panel **Klaster** di UI Workspace. Cara mana pun, Anda memiliki dua opsi pembuatan klaster:
1. **Buat klaster EMR** – Buat klaster EMR dengan memilih jenis dan jumlah instans Amazon EC2.
1. **Gunakan templat klaster** — Menyediakan klaster dengan memilih templat klaster yang telah ditentukan sebelumnya. Opsi ini muncul jika Anda memiliki izin untuk menggunakan template cluster.
**catatan**
Jika Anda mengaktifkan propagasi identitas tepercaya dengan IAM Identity Center untuk Studio Anda, maka Anda harus menggunakan template untuk membuat klaster.
**Untuk membuat klaster EMR dengan menyediakan konfigurasi klaster**
1. Pilih titik awal.
****
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/emr-studio-create-use-clusters.html)
1. Masukkan nama **Nama kluster**. Penamaan cluster membantu Anda menemukannya nanti di daftar EMR Studio Clusters.
1. Untuk rilis **Amazon EMR, Pilih versi rilis** Amazon EMR untuk cluster.
1. **Misalnya**, pilih jenis dan jumlah instans Amazon EC2 untuk klaster. Untuk informasi lebih lanjut tentang memilih jenis instans, lihat [Konfigurasikan jenis instans Amazon EC2 untuk digunakan dengan Amazon EMR](emr-plan-ec2-instances.md). Satu contoh akan digunakan sebagai simpul utama.
1. Pilih **Subnet** tempat EMR Studio dapat meluncurkan cluster baru. Setiap opsi subnet telah disetujui sebelumnya oleh administrator Studio Anda, dan Workspace Anda harus dapat terhubung ke klaster di subnet apa pun yang terdaftar.
1. Pilih **S3 URI untuk penyimpanan log**.
1. Pilih **Buat klaster EMR** untuk menyediakan cluster. Jika Anda menggunakan kotak dialog **Create a Workspace**, pilih **Create a Workspace** untuk membuat Workspace dan menyediakan klaster. Setelah EMR Studio menyediakan cluster baru, ia melampirkan cluster ke Workspace.
**Untuk membuat klaster menggunakan templat klaster**
1. Pilih titik awal.
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/emr-studio-create-use-clusters.html)
1. Pilih templat klaster dari daftar dropdown. Setiap templat klaster yang tersedia mencakup deskripsi singkat untuk membantu Anda membuat pilihan.
1. Templat klaster yang Anda pilih mungkin memiliki parameter tambahan seperti versi rilis atau nama klaster Amazon EMR. Anda dapat memilih atau memasukkan nilai, atau menggunakan nilai default yang dipilih oleh administrator Anda.
1. Pilih **Subnet** tempat EMR Studio dapat meluncurkan cluster baru. Setiap opsi subnet telah disetujui sebelumnya oleh administrator Studio Anda, dan Workspace Anda harus dapat terhubung ke klaster di subnet apa pun.
1. Pilih **Gunakan template cluster** untuk menyediakan cluster dan melampirkannya ke Workspace. Ini akan memakan waktu beberapa menit bagi EMR Studio untuk membuat cluster. Jika Anda menggunakan kotak dialog **Create a Workspace**, pilih **Create a Workspace** untuk membuat Workspace dan menyediakan klaster. Setelah EMR Studio menyediakan cluster baru, ia melampirkan cluster ke Workspace Anda.
## Lepaskan komputasi dari EMR Studio Workspace
Untuk menukar klaster yang dilampirkan ke Workspace, Anda dapat melepaskan cluster dari UI Workspace.
**Untuk melepaskan cluster dari Workspace**
1. **Di Workspace yang ingin Anda lepaskan dari cluster, pilih ikon **cluster EMR** dari sidebar kiri untuk membuka panel Cluster.**
1. Di bawah **Pilih klaster**, pilih **Lepaskan** dan tunggu EMR Studio melepaskan klaster tersebut. Ketika klaster terlepas, Anda akan melihat pesan sukses.
**Untuk melepaskan aplikasi EMR Tanpa Server dari EMR Studio Workspace**
Untuk menukar komputasi yang dilampirkan ke Workspace, Anda dapat melepaskan aplikasi dari UI Workspace.
1. **Di Workspace yang ingin Anda lepaskan dari cluster, pilih ikon komputasi Amazon **EMR dari bilah sisi kiri untuk membuka panel Compute**.**
1. Di bawah **Pilih komputasi**, pilih **Lepaskan** dan tunggu EMR Studio melepaskan aplikasi. Ketika aplikasi terlepas, Anda akan melihat pesan sukses.
# Menautkan repositori berbasis Git ke Workspace EMR Studio
Kaitkan hingga tiga repositori berbasis GIS dengan Amazon EMR Studio Workspace untuk menyimpan dan berbagi file notebook.
## Tentang repositori Git untuk EMR Studio
Anda dapat mengaitkan maksimum tiga repositori Git dengan Workspace EMR Studio. Secara default, setiap Workspace memungkinkan Anda memilih dari daftar repositori Git yang terkait dengan AWS akun yang sama dengan Studio. Anda juga dapat membuat repositori Git baru sebagai sumber daya untuk Workspace.
Anda dapat menjalankan perintah Git seperti berikut menggunakan perintah terminal saat terhubung ke node utama dari sebuah cluster.
```
!git pull origin
```
Atau, Anda dapat menggunakan jupyterlab-git ekstensi. Buka dari bilah sisi kiri dengan memilih ikon **Git**. [Untuk informasi tentang ekstensi jupyterlab-git untuk, lihat jupyterlab-git. JupyterLab](https://github.com/jupyterlab/jupyterlab-git)
## Prasyarat
+ Untuk mengaitkan repositori Git dengan Workspace, Studio harus dikonfigurasi untuk mengizinkan penautan repositori Git. Administrator Studio Anda harus mengambil langkah-langkah untuk [Membuat akses dan izin untuk repositori berbasis Git](emr-studio-enable-git.md).
+ Jika Anda menggunakan CodeCommit repositori, Anda harus menggunakan kredensi Git dan HTTPS. Kunci SSH dan HTTPS dengan pembantu AWS Command Line Interface kredensyal tidak didukung. CodeCommit juga tidak mendukung token akses pribadi (PATs). *Untuk informasi selengkapnya, lihat [Menggunakan IAM dengan CodeCommit](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_credentials_ssh-keys.html) *Panduan pengguna IAM dan Pengaturan untuk pengguna* [HTTPS yang menggunakan kredensyal Git](https://docs.aws.amazon.com/codecommit/latest/userguide/setting-up-gc.html) di Panduan Pengguna.AWS CodeCommit *
## Petunjuk
**Untuk menautkan repositori Git terkait ke Workspace**
1. Buka Workspace yang ingin Anda tautkan ke repositori dari daftar **Workspaces** di Studio.
1. Di bilah sisi kiri, pilih ikon **Amazon EMR Git Repository** untuk membuka panel alat repositori **Git**.
1. Di bawah **repositori Git**, perluas daftar dropdown dan pilih maksimal tiga repositori untuk ditautkan ke Workspace. EMR Studio mendaftarkan pilihan Anda dan mulai menautkan setiap repositori.
Mungkin perlu beberapa waktu hingga proses penautan selesai. Anda dapat melihat status untuk setiap repositori yang Anda pilih di panel alat **Repositori Git**. **Setelah EMR Studio menautkan repositori ke Workspace, Anda akan melihat file milik repositori itu muncul di panel browser File.**
**Untuk menambahkan repositori Git baru ke Workspace sebagai sumber daya**
1. Buka Workspace yang ingin Anda tautkan ke repositori dari daftar Workspace di Studio Anda.
1. Di bilah sisi kiri, pilih ikon **Amazon EMR Git Repository** untuk membuka panel alat repositori **Git**.
1. Pilih **Tambahkan repositori Git baru**.
1. Untuk **Nama repositori**, masukkan nama deskriptif untuk repositori di EMR Studio. Nama hanya boleh berisi karakter alfanumerik, tanda hubung, dan garis bawah.
1. Untuk **URL repositori Git**, masukkan URL untuk repositori. **Ketika Anda menggunakan CodeCommit repositori, ini adalah URL yang disalin ketika Anda memilih **Clone URL dan kemudian Clone HTTPS**.** Misalnya, `https://git-codecommit.us-west-2.amazonaws.com/v1/repos/[MyCodeCommitRepoName]`.
1. Untuk **Cabang**, masukkan nama cabang yang sudah ada yang ingin Anda periksa.
1. Untuk kredensial Git, pilih opsi sesuai dengan pedoman berikut. EMR Studio mengakses kredensial Git Anda menggunakan secret yang disimpan di Secrets Manager.
**catatan**
Jika Anda menggunakan GitHub repositori, kami sarankan Anda menggunakan token akses pribadi (PAT) untuk mengautentikasi. Mulai 13 Agustus 2021, GitHub akan memerlukan otentikasi berbasis token dan tidak akan lagi menerima kata sandi saat mengautentikasi operasi Git. Untuk informasi selengkapnya, lihat [persyaratan otentikasi Token untuk posting operasi Git](https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/) *di GitHub Blog*.
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/emr-studio-git-repo.html)
1. Pilih **Tambahkan repositori** untuk membuat repositori baru. Setelah EMR Studio membuat repositori baru, Anda akan melihat pesan sukses. Repositori baru muncul dalam daftar dropdown di bawah **Repositori Git**.
1. **Untuk menautkan repositori baru ke Workspace Anda, pilih dari daftar dropdown di bawah repositori Git.**
Mungkin perlu beberapa waktu hingga proses penautan selesai. **Setelah EMR Studio menautkan repositori baru ke Workspace, Anda akan melihat folder baru dengan nama yang sama dengan repositori Anda muncul di panel File Browser.**
Untuk membuka repositori tertaut yang berbeda, arahkan ke foldernya di **Peramban file**.
# Gunakan editor SQL Amazon Athena di EMR Studio
## Ikhtisar
Anda dapat menggunakan Amazon EMR Studio untuk mengembangkan dan menjalankan kueri interaktif di Amazon Athena. Itu berarti Anda dapat melakukan analisis SQL di Athena dari antarmuka EMR Studio yang sama yang Anda gunakan untuk menjalankan Spark, Scala, dan beban kerja lainnya. Dengan integrasi ini, Anda dapat menggunakan pelengkapan otomatis untuk mengembangkan kueri dengan cepat, menelusuri data di Katalog Data AWS Glue, membuat kueri yang disimpan, melihat riwayat kueri, dan banyak lagi.
*Untuk informasi selengkapnya tentang penggunaan Amazon Athena, lihat Menggunakan [Athena SQL di](https://docs.aws.amazon.com/athena/latest/ug/using-athena-sql.html) Panduan Pengguna Amazon Athena.*
## Gunakan editor SQL Athena di EMR Studio
Gunakan langkah-langkah berikut untuk mengembangkan dan menjalankan kueri interaktif di Amazon Athena dari EMR Studio Anda:
1. Tambahkan izin yang diperlukan ke peran pengguna untuk pengguna yang mengakses Ruang Kerja di Studio ini. Izin tercantum dalam [AWS Identity and Access Management izin untuk pengguna EMR Studio](emr-studio-user-permissions.md#emr-studio-iam-permissions-table) tabel di kolom **Access Amazon Athena SQL editor dari EMR Studio Anda**. Atau, Anda dapat memilih untuk menyalin konten kebijakan **lanjutan** dari [Contoh kebijakan pengguna](emr-studio-user-permissions.md#emr-studio-example-policies) untuk memberikan pengguna izin penuh ke kemampuan EMR Studio termasuk yang satu ini.
1. [Siapkan](emr-studio-set-up.md) dan [buat EMR Studio](emr-studio-create-studio.md).
1. Arahkan ke Studio Anda dan pilih **Editor kueri** dari bilah sisi.
Anda sekarang harus melihat UI editor Athena yang sudah dikenal. *Untuk informasi tentang memulai dan menggunakan Athena SQL untuk menjalankan kueri interaktif, lihat [Memulai dan](https://docs.aws.amazon.com/athena/latest/ug/getting-started.html) Menggunakan [Athena SQL di Panduan Pengguna Amazon Athena](https://docs.aws.amazon.com/athena/latest/ug/using-athena-sql.html).*
**catatan**
Jika Anda telah mengaktifkan propagasi identitas tepercaya melalui IAM Identity Center untuk EMR Studio Anda, maka Anda harus menggunakan workgroup Athena untuk mengontrol akses kueri, dan workgroup yang Anda gunakan juga harus menggunakan propagasi identitas tepercaya. *Untuk langkah-langkah menyiapkan Pusat Identitas dan mengaktifkan propagasi identitas tepercaya untuk grup kerja Anda, lihat [Menggunakan grup kerja Athena yang diaktifkan Pusat Identitas IAM di Panduan Pengguna Amazon Athena](https://docs.aws.amazon.com/athena/latest/ug/workgroups-identity-center.html).*
## Pertimbangan untuk menggunakan editor Athena SQL di EMR Studio
+ Integrasi dengan Athena tersedia di semua Wilayah komersial di mana EMR Studio dan Athena tersedia.
+ Fitur Athena berikut tidak tersedia di EMR Studio:
+ Fitur admin seperti membuat atau memperbarui workgroup Athena, sumber data, atau reservasi kapasitas
+ Athena untuk notebook Spark atau Spark
+ DataZone Integrasi Amazon
+ Pengoptimal Berbasis Biaya (CBO)
+ Fungsi langkah
# CodeWhisperer Integrasi Amazon dengan EMR Studio Workspaces
## Ikhtisar
Anda dapat menggunakan [Amazon CodeWhisperer](https://docs.aws.amazon.com/codewhisperer/latest/userguide/what-is-cwspr.html) dengan Amazon EMR Studio untuk mendapatkan rekomendasi waktu nyata saat Anda menulis kode. JupyterLab CodeWhispererdapat menyelesaikan komentar Anda, menyelesaikan satu baris kode, membuat line-by-line rekomendasi, dan menghasilkan fungsi yang sepenuhnya terbentuk.
**catatan**
Saat Anda menggunakan Amazon EMR Studio, AWS mungkin menyimpan data tentang penggunaan dan konten Anda untuk tujuan peningkatan layanan. Untuk informasi selengkapnya dan petunjuk untuk memilih keluar dari berbagi data, lihat [Berbagi data Anda AWS](https://docs.aws.amazon.com/codewhisperer/latest/userguide/sharing-data.html) di *Panduan CodeWhisperer Pengguna Amazon*.
## Pertimbangan untuk digunakan CodeWhisperer dengan Ruang Kerja
+ CodeWhisperer integrasi tersedia di Wilayah AWS tempat yang sama di mana EMR Studio tersedia, seperti yang didokumentasikan dalam pertimbangan [EMR](emr-studio-considerations.md) Studio.
+ Amazon EMR Studio secara otomatis menggunakan CodeWhisperer titik akhir di US East (Virginia N.) (us-east-1) untuk rekomendasi, terlepas dari Wilayah tempat studio Anda berada.
+ CodeWhisperer hanya mendukung bahasa Python untuk pengkodean skrip ETL untuk pekerjaan Spark di EMR Studio.
+ Opsi telemetri sisi klien mengukur penggunaan Anda. CodeWhisperer Fungsionalitas ini tidak didukung dengan EMR Studio.
## Izin diperlukan untuk CodeWhisperer
Untuk menggunakannya CodeWhisperer, Anda harus melampirkan kebijakan berikut ke peran pengguna IAM Anda untuk Amazon EMR Studio:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CodeWhispererPermissions",
"Effect": "Allow",
"Action": [
"codewhisperer:GenerateRecommendations"
],
"Resource": [
"*"
]
}
]
}
```
------
## Gunakan CodeWhisperer dengan Ruang Kerja
Untuk menampilkan log CodeWhisperer referensi JupyterLab, buka **CodeWhisperer**panel di bagian bawah JupyterLab jendela dan pilih **Buka Log Referensi Kode**.
Daftar berikut berisi pintasan yang dapat Anda gunakan untuk berinteraksi dengan CodeWhisperer saran:
+ **Rekomendasi jeda** — Gunakan **Jeda Saran Otomatis dari pengaturan**. CodeWhisperer
+ **Terima rekomendasi** — Tekan **Tab** pada keyboard Anda.
+ **Tolak rekomendasi** — Tekan **Escape** pada keyboard Anda.
+ **Navigasi rekomendasi** — Gunakan panah **Atas** dan **Bawah** pada keyboard Anda.
+ **Pemanggilan manual** — Tekan **Alt** dan **C** pada keyboard Anda. Jika Anda menggunakan Mac, tekan **Cmd** dan **C**.
Anda juga dapat menggunakan CodeWhisperer untuk mengubah pengaturan seperti tingkat log dan mendapatkan saran untuk referensi kode. Untuk informasi selengkapnya, lihat [Menyiapkan CodeWhisperer dengan JupyterLab](https://docs.aws.amazon.com/codewhisperer/latest/userguide/jupyterlab-setup.html) dan [Fitur](https://docs.aws.amazon.com/codewhisperer/latest/userguide/features.html) di *Panduan CodeWhisperer Pengguna Amazon*.
# Debug aplikasi dan pekerjaan dengan EMR Studio
Dengan Amazon EMR Studio, Anda dapat meluncurkan antarmuka aplikasi data untuk menganalisis aplikasi dan pekerjaan yang berjalan di browser.
Anda juga dapat meluncurkan antarmuka pengguna yang persisten dan di luar klaster untuk Amazon EMR yang berjalan pada klaster EC2 dari konsol Amazon EMR. Untuk informasi selengkapnya, lihat [Lihat antarmuka pengguna aplikasi persisten di Amazon EMR](app-history-spark-UI.md).
**catatan**
Bergantung pada setelan peramban, Anda mungkin perlu mengaktifkan pop-up agar UI aplikasi terbuka.
Untuk informasi tentang mengonfigurasi dan menggunakan antarmuka aplikasi, lihat [Server Timeline YARN](https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/TimelineServer.html), [Pemantauan dan instrumentasi](https://spark.apache.org/docs/latest/monitoring.html), atau [Gambaran umum Tez UI](https://tez.apache.org/tez-ui.html).
## Men-debug Amazon EMR yang berjalan pada pekerjaan Amazon EC2
------
#### [ Workspace UI ]
**Luncurkan UI pada klaster dari file notebook**
Jika Anda menggunakan rilis Amazon EMR versi 5.33.0 dan yang lebih baru, Anda dapat meluncurkan antarmuka pengguna web Spark (Spark UI atau Spark History Server) dari notebook di Workspace Anda.
On-cluster UIs bekerja dengan kernel PySpark, Spark, atau SparkR. Ukuran maksimum file dapat dilihat untuk log peristiwa atau log kontainer Spark adalah 10 MB. Jika file log melebihi 10 MB, sebaiknya Anda menggunakan Spark History Server yang persisten, bukannya Spark UI pada klaster untuk men-debug pekerjaan.
**penting**
Agar EMR Studio dapat meluncurkan antarmuka pengguna aplikasi on-cluster dari Workspace, kluster harus dapat berkomunikasi dengan Amazon API Gateway. Anda harus mengonfigurasi kluster EMR untuk mengizinkan lalu lintas jaringan keluar ke Amazon API Gateway, dan memastikan bahwa Amazon API Gateway dapat dijangkau dari cluster.
Spark UI mengakses log kontainer dengan menyelesaikan nama host. Jika Anda menggunakan nama domain khusus, Anda harus memastikan bahwa nama host simpul klaster Anda dapat diselesaikan oleh Amazon DNS atau server DNS yang Anda tentukan. Untuk melakukannya, atur opsi Dynamic Host Configuration Protocol (DHCP) untuk Amazon Virtual Private Cloud (VPC) yang terkait dengan klaster Anda. Untuk informasi lebih lanjut tentang opsi DHCP, lihat [Set opsi DHCP](https://docs.aws.amazon.com/vpc/latest/userguide/VPC_DHCP_Options.html) dalam *Panduan Pengguna* *Amazon Virtual Private Cloud*.
1. Di EMR Studio Anda, buka Workspace yang ingin Anda gunakan dan pastikan itu terlampir ke klaster Amazon EMR yang berjalan di EC2. Untuk petunjuk, lihat [Lampirkan komputasi ke Ruang Kerja EMR Studio](emr-studio-create-use-clusters.md).
1. Buka file notebook dan gunakan kernel PySpark, Spark, atau SparkR. Untuk memilih kernel, pilih nama kernel dari kanan atas bilah alat notebook untuk membuka kotak dialog **Pilih Kernel**. Nama muncul sebagai **Tidak ada Kernel\$1** jika tidak ada kernel yang dipilih.
1. Jalankan kode notebook Anda. Berikut ini muncul sebagai output di notebook ketika Anda memulai konteks Spark. Mungkin diperlukan waktu beberapa detik untuk muncul. Jika Anda telah memulai konteks Spark, Anda dapat menjalankan `%%info` perintah untuk mengakses tautan ke UI Spark kapan saja.
**catatan**
Jika tautan Spark UI tidak berfungsi atau tidak muncul setelah beberapa detik, buat sel notebook baru dan jalankan perintah `%%info` untuk meregenerasi tautan.
![\[Screenshot dari informasi master aplikasi Spark, dengan tautan ke UI Spark. Tautan muncul di buku catatan saat Anda menjalankan aplikasi Spark.\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/images/spark-app-ui-link.jpg)
1. Untuk meluncurkan Spark UI, pilih **Tautan** di bawah **Spark UI**. Jika aplikasi Spark Anda sedang berjalan, Spark UI terbuka di tab baru. Jika aplikasi telah selesai, Spark History Server akan membuka.
Setelah meluncurkan UI Spark, Anda dapat memodifikasi URL di browser untuk membuka YARN ResourceManager atau Yarn Timeline Server. Tambahkan salah satu jalur berikut setelah `amazonaws.com`.
****
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/emr-studio-debug.html)
------
#### [ Studio UI ]
**Luncurkan YARN Timeline Server, Spark History Server, atau Tez UI persisten dari EMR Studio UI**
1. Di EMR Studio Anda, pilih Amazon **EMR di EC2 di** sisi kiri halaman untuk membuka Amazon **EMR** pada daftar cluster EC2.
1. Filter daftar klaster menurut **nama**, **status**, atau **ID** dengan memasukkan nilai di kotak pencarian. Anda juga dapat mencari berdasarkan **rentang waktu** pembuatan.
1. Pilih cluster dan kemudian pilih **Luncurkan aplikasi UIs** untuk memilih antarmuka pengguna aplikasi. UI Aplikasi terbuka di tab peramban baru dan mungkin memerlukan beberapa waktu untuk memuat.
------
## Debug EMR Studio berjalan di EMR Tanpa Server
Mirip dengan Amazon EMR yang berjalan di Amazon EC2, Anda dapat menggunakan antarmuka pengguna Workspace untuk menganalisis aplikasi EMR Tanpa Server Anda. Dari UI Workspace, saat Anda menggunakan Amazon EMR rilis 6.14.0 dan yang lebih tinggi, Anda dapat meluncurkan antarmuka pengguna web Spark (UI Spark atau Server Riwayat Spark) dari notebook di Workspace Anda. Untuk kenyamanan Anda, kami juga menyediakan tautan ke log driver untuk akses cepat log driver Spark.
## Debug Amazon EMR pada pekerjaan EKS berjalan dengan Spark History Server
Saat Anda mengirimkan pekerjaan yang dijalankan ke EMR Amazon di klaster EKS, Anda dapat mengakses log untuk pekerjaan yang dijalankan menggunakan Server Riwayat Spark. Spark History Server menyediakan alat untuk memantau aplikasi Spark, seperti daftar tahapan dan tugas penjadwal, ringkasan ukuran RDD dan penggunaan memori, dan informasi lingkungan. Anda dapat meluncurkan Spark History Server untuk Amazon EMR pada pekerjaan EKS berjalan dengan cara berikut:
+ Saat mengirimkan pekerjaan yang dijalankan menggunakan EMR Studio dengan Amazon EMR di titik akhir terkelola EKS, Anda dapat meluncurkan Server Riwayat Spark dari file notebook di Workspace.
+ Saat Anda mengirimkan pekerjaan yang dijalankan menggunakan AWS CLI atau AWS SDK untuk Amazon EMR di EKS, Anda dapat meluncurkan Spark History Server dari EMR Studio UI.
Untuk informasi tentang cara menggunakan Spark History Server, lihat [Pemantauan dan Instrumentasi dalam dokumentasi](https://spark.apache.org/docs/latest/monitoring.html) Apache Spark. Untuk informasi lebih lanjut tentang pekerjaan berjalan, lihat [Konsep dan komponen](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/emr-eks-concepts.html) dalam *Panduan Pengembangan Amazon EMR pada EKS*.
**Untuk meluncurkan Spark History Server dari file notebook di EMR Studio Workspace**
1. Buka Workspace yang terhubung ke Amazon EMR di klaster EKS.
1. Pilih dan buka file notebook Anda di Workspace.
1. Pilih **Spark UI** di bagian atas file notebook untuk membuka Server Riwayat Spark persisten di tab baru.
**Untuk meluncurkan Spark History Server dari EMR Studio UI**
**catatan**
Daftar **Pekerjaan** di EMR Studio UI hanya menampilkan tugas yang Anda kirimkan menggunakan AWS CLI atau AWS SDK untuk Amazon EMR di EKS.
1. Di EMR Studio Anda, pilih Amazon **EMR di EKS di** sisi kiri halaman.
1. Cari EMR Amazon di klaster virtual EKS yang Anda gunakan untuk mengirimkan pekerjaan Anda. Anda dapat memfilter daftar cluster berdasarkan **status** atau **ID** dengan memasukkan nilai di kotak pencarian.
1. Pilih cluster untuk membuka halaman detailnya. Halaman detail menampilkan informasi tentang cluster, seperti ID, namespace, dan status. Halaman ini juga menampilkan daftar semua pekerjaan yang dikirimkan ke klaster itu.
1. Dari halaman detail klaster, pilih pekerjaan berjalan untuk di-debug.
1. Di kanan atas daftar **Pekerjaan**, pilih **Luncurkan Spark History Server** untuk membuka antarmuka aplikasi di tab peramban baru.
# Instal kernel dan pustaka di Ruang Kerja EMR Studio
Setiap Amazon EMR Studio Workspace dilengkapi dengan serangkaian pustaka dan kernel yang sudah diinstal sebelumnya.
## Kernel dan pustaka pada cluster yang berjalan di Amazon EC2
Anda juga dapat menyesuaikan lingkungan untuk EMR Studio dengan cara berikut ketika Anda menggunakan klaster EMR yang berjalan di Amazon EC2:
+ **Instal kernel Jupyter Notebook dan pustaka Python pada simpul utama klaster** — Saat Anda menginstal pustaka menggunakan opsi ini, semua Ruang Kerja yang dilampirkan ke klaster yang sama berbagi pustaka tersebut. Anda dapat menginstal kernel atau pustaka dari dalam sel notebook atau saat terhubung menggunakan SSH ke node utama cluster.
+ **Gunakan pustaka dengan cakupan notebook — Saat pengguna Workspace** menginstal dan menggunakan pustaka dari dalam sel notebook, pustaka tersebut hanya tersedia untuk buku catatan itu saja. Opsi ini memungkinkan notebook yang berbeda menggunakan klaster yang sama berfungsi tanpa khawatir tentang versi pustaka yang bertentangan.
EMR Studio Workspaces memiliki arsitektur dasar yang sama dengan EMR Notebooks. Anda dapat menginstal dan menggunakan kernel Notebook Jupyter dan pustaka Python dengan EMR Studio dengan cara yang sama seperti yang Anda lakukan dengan EMR Notebooks. Untuk instruksi, lihat [Menginstal dan menggunakan kernel dan pustaka di EMR Studio](emr-managed-notebooks-installing-libraries-and-kernels.md).
## Kernel dan pustaka di Amazon EMR pada klaster EKS
Amazon EMR pada kluster EKS menyertakan kernel dan PySpark Python 3.7 dengan satu set pustaka yang sudah diinstal sebelumnya. Amazon EMR di EKS tidak mendukung pemasangan pustaka atau cluster tambahan.
Setiap Amazon EMR di kluster EKS dilengkapi dengan Python dan pustaka berikut yang diinstal: PySpark
+ **Python** – boto3, cffi, future, ggplot, jupyter, kubernetes, matplotlib, numpy, pandas, plotly, pycryptodomex, py4j, requests, scikit-learn, scipy, seaborn
+ **PySpark** – ggplot, jupyter, matplotlib, numpy, pandas, plotly, pycryptodomex, py4j, requests, scikit-learn, scipy, seaborn
## Kernel dan pustaka pada aplikasi EMR Tanpa Server
Setiap aplikasi EMR Tanpa Server dilengkapi dengan Python dan pustaka berikut yang diinstal: PySpark
+ **Python** – ggplot, matplotlib, numpy, pandas, plotly, bokeh, scikit-learn, scipy, seaborn
+ **PySpark** – ggplot, matplotlib,numpy, pandas, plotly, bokeh, scikit-learn, scipy, seaborn
# Tingkatkan kernel dengan magic perintah di EMR Studio
## Ikhtisar
EMR Studio dan EMR Notebooks mendukung perintah. magic *Magic*perintah, atau *magics*, adalah perangkat tambahan yang disediakan IPython kernel untuk membantu Anda menjalankan dan menganalisis data. IPythonadalah lingkungan shell interaktif yang dibangun dengan Python.
Amazon EMR juga mendukungSparkmagic, paket yang menyediakan kernel terkait Spark (PySpark, SparkR, dan kernel Scala) dengan perintah magic tertentu dan yang menggunakan Livy di cluster untuk mengirimkan pekerjaan Spark.
Anda dapat menggunakan magic perintah selama Anda memiliki kernel Python di notebook EMR Anda. Demikian pula, kernel terkait SPARK apa pun mendukung Sparkmagic perintah.
Magicperintah, juga disebut *magics*, datang dalam dua varietas:
+ **Baris magic s** — magic Perintah ini dilambangkan dengan `%` awalan tunggal dan beroperasi pada satu baris kode
+ **Sel magic s** — magic Perintah ini dilambangkan dengan `%%` awalan ganda dan beroperasi pada beberapa baris kode
Untuk semua magic s yang tersedia, lihat[Daftar magic dan Sparkmagic perintah](#accessing-all-magic-commands).
## Pertimbangan dan batasan
+ EMR Tanpa Server tidak mendukung untuk dijalankan. `%%sh` `spark-submit` Itu tidak mendukung EMR magic Notebooks s.
+ Amazon EMR di kluster EKS tidak mendukung perintah Sparkmagic untuk EMR Studio. Ini karena kernel Spark yang Anda gunakan dengan endpoint terkelola dibangun ke dalam Kubernetes, dan kernel tersebut tidak didukung oleh dan Livy. Sparkmagic Anda dapat mengatur konfigurasi Spark langsung ke SparkContext objek sebagai solusi, seperti yang ditunjukkan oleh contoh berikut.
```
spark.conf.set("spark.driver.maxResultSize", '6g')
```
+ magicPerintah dan tindakan berikut dilarang oleh AWS:
+ `%alias`
+ `%alias_magic`
+ `%automagic`
+ `%macro`
+ Memodifikasi dengan `proxy_user` `%configure`
+ Memodifikasi `KERNEL_USERNAME` dengan `%env` atau `%set_env`
## Daftar magic dan Sparkmagic perintah
Gunakan perintah berikut untuk membuat daftar magic perintah yang tersedia:
+ `%lsmagic`daftar semua fungsi yang tersedia saat ini. magic
+ `%%help`mencantumkan magic fungsi terkait SPARK yang tersedia saat ini yang disediakan oleh paket. Sparkmagic
## Gunakan `%%configure` untuk mengkonfigurasi Spark
Salah satu perintah yang paling berguna adalah Sparkmagic `%%configure` perintah, yang mengkonfigurasi parameter pembuatan sesi. Menggunakan `conf` pengaturan, Anda dapat mengonfigurasi konfigurasi Spark apa pun yang disebutkan dalam [dokumentasi konfigurasi untuk Apache](https://spark.apache.org/docs/latest/configuration.html) Spark.
**Example Tambahkan file JAR eksternal ke EMR Notebooks dari repositori Maven atau Amazon S3**
Anda dapat menggunakan pendekatan berikut untuk menambahkan dependensi file JAR eksternal ke kernel terkait SPARK yang didukung oleh. Sparkmagic
```
%%configure -f
{"conf": {
"spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
"spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
}
}
```
**Example : Konfigurasikan Hudi**
Anda dapat menggunakan editor notebook untuk mengonfigurasi notebook EMR Anda untuk menggunakan Hudi.
```
%%configure
{ "conf": {
"spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar",
"spark.serializer": "org.apache.spark.serializer.KryoSerializer",
"spark.sql.hive.convertMetastoreParquet":"false"
}
}
```
## Gunakan `%%sh` untuk menjalankan `spark-submit`
`%%sh`magicMenjalankan perintah shell dalam subproses pada instance cluster terlampir Anda. Biasanya, Anda akan menggunakan salah satu kernel terkait Spark untuk menjalankan aplikasi Spark pada cluster terlampir Anda. Namun, jika Anda ingin menggunakan kernel Python untuk mengirimkan aplikasi Spark, Anda dapat menggunakan yang berikut inimagic, mengganti nama bucket dengan nama bucket Anda dalam huruf kecil.
```
%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py
```
Dalam contoh ini, cluster membutuhkan akses ke lokasi`s3://amzn-s3-demo-bucket/test.py`, atau perintah akan gagal.
Anda dapat menggunakan perintah Linux apa pun dengan file `%%sh`magic. Jika Anda ingin menjalankan perintah Spark atau YARN, gunakan salah satu opsi berikut untuk membuat pengguna `emr-notebook` Hadoop dan berikan izin pengguna untuk menjalankan perintah:
+ Anda dapat secara eksplisit membuat pengguna baru dengan menjalankan perintah berikut.
```
hadoop fs -mkdir /user/emr-notebook
hadoop fs -chown emr-notebook /user/emr-notebook
```
+ Anda dapat mengaktifkan peniruan identitas pengguna di Livy, yang secara otomatis membuat pengguna. Untuk informasi selengkapnya, lihat [Mengaktifkan peniruan pengguna untuk memantau aktivitas pengguna dan tugas Spark](emr-managed-notebooks-spark-monitor.md).
## Gunakan `%%display` untuk memvisualisasikan kerangka data Spark
Anda dapat menggunakan `%%display` magic untuk memvisualisasikan kerangka data Spark. Untuk menggunakan inimagic, jalankan perintah berikut.
```
%%display df
```
Pilih untuk melihat hasil dalam format tabel, seperti yang ditunjukkan gambar berikut.
![\[Output dari menggunakan %%display magic yang menunjukkan hasil dalam format tabel.\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/images/magic-display-table.png)
Anda juga dapat memilih untuk memvisualisasikan data Anda dengan lima jenis bagan. Pilihan Anda termasuk diagram pie, scatter, line, area, dan bar.
![\[Output dari menggunakan %%display magic yang menunjukkan hasil dalam format bagan.\]](http://docs.aws.amazon.com/id_id/emr/latest/ManagementGuide/images/magic-display-chart.png)
## Gunakan magic EMR Notebooks s
Amazon EMR menyediakan EMR Notebooks berikut yang dapat Anda gunakan dengan magic kernel berbasis Python3 dan Spark:
+ `%mount_workspace_dir`- Pasang direktori Workspace Anda ke cluster Anda sehingga Anda dapat mengimpor dan menjalankan kode dari file lain di Workspace Anda
**catatan**
Dengan`%mount_workspace_dir`, hanya kernel Python 3 yang dapat mengakses sistem file lokal Anda. Eksekutor Spark tidak akan memiliki akses ke direktori yang dipasang dengan kernel ini.
+ `%umount_workspace_dir`- Melepas direktori Workspace Anda dari cluster Anda
+ `%generate_s3_download_url`- Menghasilkan tautan unduhan sementara di output notebook Anda untuk objek Amazon S3
### Prasyarat
Sebelum Anda menginstal EMR magic Notebooks s, selesaikan tugas-tugas berikut:
+ Pastikan Anda [Peran layanan untuk instans EC2 klaster (profil instans EC2)](emr-iam-role-for-ec2.md) memiliki akses baca untuk Amazon S3. `EMR_EC2_DefaultRole`Dengan kebijakan yang `AmazonElasticMapReduceforEC2Role` dikelola memenuhi persyaratan ini. Jika Anda menggunakan peran atau kebijakan khusus, pastikan bahwa itu memiliki izin S3 yang diperlukan.
**catatan**
EMR magic Notebooks berjalan di cluster sebagai pengguna notebook dan menggunakan profil instans EC2 untuk berinteraksi dengan Amazon S3. Saat Anda memasang direktori Workspace pada kluster EMR, semua Workspaces dan notebook EMR dengan izin untuk melampirkan ke cluster tersebut dapat mengakses direktori yang dipasang.
Direktori dipasang sebagai read-only secara default. Sementara `s3fs-fuse` dan `goofys` mengizinkan pemasangan baca-tulis, kami sangat menyarankan agar Anda tidak memodifikasi parameter pemasangan untuk memasang direktori dalam mode baca-tulis. Jika Anda mengizinkan akses tulis, setiap perubahan yang dilakukan pada direktori ditulis ke bucket S3. Untuk menghindari penghapusan atau penimpaan yang tidak disengaja, Anda dapat mengaktifkan pembuatan versi untuk bucket S3 Anda. Untuk mempelajari lebih lanjut, lihat [Menggunakan pembuatan versi di bucket S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html).
+ Jalankan salah satu skrip berikut di cluster Anda untuk menginstal dependensi untuk EMR Notebooks s. magic Untuk menjalankan skrip, Anda dapat [Gunakan tindakan bootstrap kustom](emr-plan-bootstrap.md#bootstrapCustom) atau mengikuti instruksi dalam [perintah Jalankan dan skrip di klaster EMR Amazon](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-commandrunner.html) saat Anda sudah memiliki cluster yang sedang berjalan.
Anda dapat memilih dependensi mana yang akan diinstal. Baik [s3fs-fuse dan goofys](https://github.com/s3fs-fuse/s3fs-fuse) [adalah alat FUSE](https://github.com/kahing/goofys) (Filesystem in Userspace) yang memungkinkan Anda memasang bucket Amazon S3 sebagai sistem file lokal di cluster. `s3fs`Alat ini memberikan pengalaman yang mirip dengan POSIX. `goofys`Alat ini adalah pilihan yang baik ketika Anda lebih memilih kinerja daripada sistem file yang sesuai dengan POSIX.
Seri Amazon EMR 7.x menggunakan Amazon Linux 2023, yang tidak mendukung repositori EPEL. Jika Anda menjalankan Amazon EMR 7.x, ikuti petunjuk [ GitHubs3fs-fuse](https://github.com/s3fs-fuse/s3fs-fuse/blob/master/COMPILATION.md) untuk menginstal. `s3fs-fuse` Jika Anda menggunakan seri 5.x atau 6.x, gunakan perintah berikut untuk menginstal. `s3fs-fuse`
```
#!/bin/sh
# Install the s3fs dependency for EMR Notebooks magics
sudo amazon-linux-extras install epel -y
sudo yum install s3fs-fuse -y
```
**ATAU**
```
#!/bin/sh
# Install the goofys dependency for EMR Notebooks magics
sudo wget https://github.com/kahing/goofys/releases/latest/download/goofys -P /usr/bin/
sudo chmod ugo+x /usr/bin/goofys
```
### Instal magic EMR Notebooks s
**catatan**
Dengan Amazon EMR merilis 6.0 hingga 6.9.0, dan 5.0 hingga 5.36.0, hanya versi paket 0.2.0 dan dukungan yang lebih tinggi. `emr-notebooks-magics` `%mount_workspace_dir` magic
Selesaikan langkah-langkah berikut untuk menginstal EMR Notebooks smagic.
1. Di notebook Anda, jalankan perintah berikut untuk menginstal [https://pypi.org/project/emr-notebooks-magics/](https://pypi.org/project/emr-notebooks-magics/)paket.
```
%pip install boto3 --upgrade
%pip install botocore --upgrade
%pip install emr-notebooks-magics --upgrade
```
1. Mulai ulang kernel Anda untuk memuat EMR magic Notebooks s.
1. Verifikasi instalasi Anda dengan perintah berikut, yang akan menampilkan teks bantuan output untuk`%mount_workspace_dir`.
```
%mount_workspace_dir?
```
### Pasang direktori Workspace dengan `%mount_workspace_dir`
Ini `%mount_workspace_dir` magic memungkinkan Anda memasang direktori Workspace ke kluster EMR sehingga Anda dapat mengimpor dan menjalankan file, modul, atau paket lain yang disimpan di direktori Anda.
Contoh berikut memasang seluruh direktori Workspace ke cluster, dan menentukan *`<--fuse-type>`* argumen opsional untuk menggunakan goofys untuk memasang direktori.
```
%mount_workspace_dir . <--fuse-type goofys>
```
Untuk memverifikasi bahwa direktori Workspace Anda sudah terpasang, gunakan contoh berikut untuk menampilkan direktori kerja saat ini dengan `ls` perintah. Output harus menampilkan semua file di Workspace Anda.
```
%%sh
ls
```
Setelah selesai membuat perubahan di Workspace, Anda dapat melepas direktori Workspace dengan perintah berikut:
**catatan**
Direktori Workspace Anda tetap terpasang ke klaster Anda bahkan ketika Workspace dihentikan atau terlepas. Anda harus secara eksplisit melepas direktori Workspace Anda.
```
%umount_workspace_dir
```
### Unduh objek Amazon S3 dengan `%generate_s3_download_url`
`generate_s3_download_url`Perintah membuat URL presigned untuk objek yang disimpan di Amazon S3. Anda dapat menggunakan URL yang telah ditetapkan sebelumnya untuk mengunduh objek ke mesin lokal Anda. Misalnya, Anda mungkin menjalankan `generate_s3_download_url` untuk mengunduh hasil kueri SQL yang ditulis kode Anda ke Amazon S3.
URL presigned valid selama 60 menit secara default. Anda dapat mengubah waktu kedaluwarsa dengan menentukan beberapa detik untuk bendera. `--expires-in` Misalnya, `--expires-in 1800` membuat URL yang valid selama 30 menit.
Contoh berikut menghasilkan tautan unduhan untuk objek dengan menentukan jalur Amazon S3 lengkap:. `s3://EXAMPLE-DOC-BUCKET/path/to/my/object`
```
%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object
```
Untuk mempelajari lebih lanjut tentang menggunakan`generate_s3_download_url`, jalankan perintah berikut untuk menampilkan teks bantuan.
```
%generate_s3_download_url?
```
### Jalankan notebook dalam mode tanpa kepala dengan `%execute_notebook`
Dengan `%execute_notebook`magic, Anda dapat menjalankan notebook lain dalam mode headless dan melihat output untuk setiap sel yang telah Anda jalankan. Ini magic memerlukan izin tambahan untuk peran instans yang dibagikan Amazon EMR dan Amazon EC2. Untuk detail selengkapnya tentang cara memberikan izin tambahan, jalankan perintah`%execute_notebook?`.
Selama pekerjaan yang berjalan lama, sistem Anda mungkin tertidur karena tidak aktif, atau mungkin kehilangan konektivitas internet untuk sementara. Ini mungkin mengganggu koneksi antara browser Anda dan Server Jupyter. Dalam hal ini, Anda mungkin kehilangan output dari sel yang telah Anda jalankan dan kirim dari Server Jupyter.
Jika Anda menjalankan notebook dalam mode headless dengan `%execute_notebook`magic, EMR Notebooks menangkap output dari sel yang telah berjalan, bahkan jika jaringan lokal mengalami gangguan. EMR Notebooks menyimpan output secara bertahap di notebook baru dengan nama yang sama dengan notebook yang Anda jalankan. EMR Notebooks kemudian menempatkan notebook ke folder baru di dalam ruang kerja. Proses tanpa kepala terjadi pada cluster yang sama dan menggunakan peran layanan`EMR_Notebook_DefaultRole`, tetapi argumen tambahan dapat mengubah nilai default.
Untuk menjalankan notebook dalam mode headless, gunakan perintah berikut:
```
%execute_notebook
```
Untuk menentukan ID klaster dan peran layanan untuk menjalankan tanpa kepala, gunakan perintah berikut:
```
%execute_notebook .ipynb --cluster-id --service-role
```
Saat Amazon EMR dan Amazon EC2 berbagi peran instans, peran tersebut memerlukan izin tambahan berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"elasticmapreduce:StartNotebookExecution",
"elasticmapreduce:DescribeNotebookExecution",
"ec2:DescribeInstances"
],
"Resource": [
"*"
],
"Sid": "AllowELASTICMAPREDUCEStartnotebookexecution"
},
{
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::123456789012:role/EMR_Notebooks_DefaultRole"
],
"Sid": "AllowIAMPassrole"
}
]
}
```
------
**catatan**
Untuk menggunakan `%execute_notebook`magic, instal `emr-notebooks-magics` paket, versi 0.2.3 atau lebih tinggi.
# Gunakan notebook multi-bahasa dengan kernel Spark
Setiap kernel notebook Jupyter memiliki bahasa default. Misalnya, bahasa default kernel Spark adalah Scala, dan bahasa default PySpark kernel adalah Python. Dengan Amazon EMR 6.4.0 dan yang lebih baru, EMR Studio mendukung notebook multi-bahasa. Ini berarti bahwa setiap kernel di EMR Studio dapat mendukung bahasa berikut selain bahasa default: Python, Spark, R, dan Spark SQL.
Untuk mengaktifkan fitur ini, tentukan salah satu magic perintah berikut di awal sel apa pun.
****
| Bahasa | Perintah |
| --- | --- |
| Python | `%%pyspark` |
| Skala | `%%scalaspark` |
| R | `%%rspark` Tidak didukung untuk beban kerja interaktif dengan EMR Tanpa Server. |
| Spark SQL | `%%sql` |
Saat dipanggil, perintah ini menjalankan seluruh sel dalam sesi Spark yang sama menggunakan penerjemah bahasa yang sesuai.
`%%pyspark`Sel magic memungkinkan pengguna untuk menulis PySpark kode di semua kernel Spark.
```
%%pyspark
a = 1
```
`%%sql`Sel magic memungkinkan pengguna untuk mengeksekusi kode Spark-SQL di semua kernel Spark.
```
%%sql
SHOW TABLES
```
`%%rspark`Sel magic memungkinkan pengguna untuk mengeksekusi kode SparkR di semua kernel Spark.
```
%%rspark
a <- 1
```
`%%scalaspark`Sel magic memungkinkan pengguna untuk mengeksekusi kode Spark Scala di semua kernel Spark.
```
%%scalaspark
val a = 1
```
## Bagikan data di seluruh penerjemah bahasa dengan tabel sementara
Anda juga dapat berbagi data antar penerjemah bahasa menggunakan tabel sementara. Contoh berikut menggunakan `%%pyspark` dalam satu sel untuk membuat tabel sementara di Python dan menggunakan `%%scalaspark` dalam sel berikut untuk membaca data dari tabel itu di Scala.
```
%%pyspark
df=spark.sql("SELECT * from nyc_top_trips_report LIMIT 20")
# create a temporary table called nyc_top_trips_report_view in python
df.createOrReplaceTempView("nyc_top_trips_report_view")
```
```
%%scalaspark
// read the temp table in scala
val df=spark.sql("SELECT * from nyc_top_trips_report_view")
df.show(5)
```