

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Persiapan data menggunakan Amazon EMR
<a name="studio-notebooks-emr-cluster"></a>

**penting**  
Amazon SageMaker Studio dan Amazon SageMaker Studio Classic adalah dua lingkungan pembelajaran mesin yang dapat Anda gunakan untuk berinteraksi dengan SageMaker AI.  
Jika domain Anda dibuat setelah 30 November 2023, Studio adalah pengalaman default Anda.  
Jika domain Anda dibuat sebelum 30 November 2023, Amazon SageMaker Studio Classic adalah pengalaman default Anda. Untuk menggunakan Studio jika Amazon SageMaker Studio Classic adalah pengalaman default Anda, lihat[Migrasi dari Amazon SageMaker Studio Classic](studio-updated-migrate.md).  
Saat Anda bermigrasi dari Amazon SageMaker Studio Classic ke Amazon SageMaker Studio, tidak ada kerugian dalam ketersediaan fitur. Studio Classic juga ada sebagai aplikasi dalam Amazon SageMaker Studio untuk membantu Anda menjalankan alur kerja machine learning lama.

Amazon SageMaker Studio dan Studio Classic hadir dengan integrasi built-in dengan [Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-what-is-emr.html). [https://aws.amazon.com/emr/features/hive](https://aws.amazon.com/emr/features/hive) Dengan satu klik, mereka dapat mengakses UI Spark untuk memantau status dan metrik pekerjaan Spark mereka tanpa meninggalkan notebook mereka.

Administrator dapat membuat [CloudFormation templat](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/Welcome.html) yang menentukan kluster EMR Amazon. Mereka kemudian dapat membuat template cluster tersebut tersedia di [AWS Service Catalog](https://docs.aws.amazon.com/servicecatalog/latest/userguide/end-user-console.html)untuk pengguna Studio dan Studio Classic untuk diluncurkan. Ilmuwan data kemudian dapat memilih template yang telah ditentukan untuk menyediakan sendiri cluster EMR Amazon langsung dari lingkungan Studio mereka. Administrator selanjutnya dapat membuat parameter template untuk memungkinkan pengguna memilih aspek cluster dalam nilai yang telah ditentukan. Misalnya, pengguna mungkin ingin menentukan jumlah node inti atau memilih jenis instance node dari menu dropdown.

Dengan menggunakan CloudFormation, administrator dapat mengontrol pengaturan organisasi, keamanan, dan jaringan kluster EMR Amazon. Ilmuwan data dan insinyur data kemudian dapat menyesuaikan template tersebut untuk beban kerja mereka guna membuat klaster EMR Amazon sesuai permintaan langsung dari Studio dan Studio Classic tanpa menyiapkan konfigurasi yang rumit. Pengguna dapat menghentikan cluster EMR Amazon setelah digunakan.
+ **Jika Anda seorang administrator**:

  Pastikan Anda telah mengaktifkan komunikasi antara klaster EMR Studio atau Studio Classic dan Amazon. Untuk instruksi, lihat [Konfigurasikan akses jaringan untuk kluster EMR Amazon Anda](studio-notebooks-emr-networking.md) bagian. Setelah komunikasi ini diaktifkan, Anda dapat:
  + [Konfigurasikan CloudFormation template Amazon EMR di Service Catalog](studio-notebooks-set-up-emr-templates.md)
  + [Konfigurasikan daftar kluster EMR Amazon](studio-notebooks-configure-discoverability-emr-cluster.md)
+ **Jika Anda seorang ilmuwan data atau insinyur data**, Anda dapat:
  + [Luncurkan kluster EMR Amazon dari Studio atau Studio Classic](studio-notebooks-launch-emr-cluster-from-template.md)
  + [Daftar kluster EMR Amazon dari Studio atau Studio Classic](discover-emr-clusters.md)
  + [Connect ke kluster EMR Amazon dari SageMaker Studio atau Studio Classic](connect-emr-clusters.md)
  + [Mengakhiri klaster EMR Amazon dari Studio atau Studio Classic](terminate-emr-clusters.md)
  + [Akses Spark UI dari Studio atau Studio Classic](studio-notebooks-access-spark-ui.md)

**Topics**
+ [Mulai cepat: Buat domain kotak pasir SageMaker AI untuk meluncurkan kluster EMR Amazon di Studio](studio-notebooks-emr-cluster-quickstart.md)
+ [Panduan admin](studio-emr-admin-guide.md)
+ [Panduan pengguna](studio-emr-user-guide.md)
+ [Blog dan whitepaper](studio-notebooks-emr-resources.md)
+ [Pemecahan masalah](studio-notebooks-emr-troubleshooting.md)

# Mulai cepat: Buat domain kotak pasir SageMaker AI untuk meluncurkan kluster EMR Amazon di Studio
<a name="studio-notebooks-emr-cluster-quickstart"></a>

Bagian ini memandu Anda melalui pengaturan cepat lingkungan pengujian lengkap di Amazon SageMaker Studio. Anda akan membuat domain Studio baru yang memungkinkan pengguna meluncurkan kluster EMR Amazon baru langsung dari Studio. Langkah-langkahnya memberikan contoh notebook yang dapat Anda sambungkan ke klaster EMR Amazon untuk mulai menjalankan Spark beban kerja. Dengan menggunakan notebook ini, Anda akan membangun Retrieval Augmented Generation System (RAG) menggunakan pemrosesan terdistribusi Amazon EMR Spark dan database vektor. OpenSearch 

**catatan**  
Untuk memulai, masuk ke Konsol AWS Manajemen menggunakan akun pengguna AWS Identity and Access Management (IAM) dengan izin admin. Untuk informasi tentang cara mendaftar AWS akun dan membuat pengguna dengan akses administratif, lihat[Lengkapi prasyarat Amazon SageMaker AI](gs-set-up.md).

**Untuk menyiapkan lingkungan pengujian Studio dan mulai menjalankan Spark pekerjaan:**
+ [Langkah 1: Buat domain SageMaker AI untuk meluncurkan cluster EMR Amazon di Studio](#studio-notebooks-emr-cluster-quickstart-setup)
+ [Langkah 2: Luncurkan cluster EMR Amazon baru dari Studio UI](#studio-notebooks-emr-cluster-quickstart-launch)
+ [Langkah 3: Hubungkan JupyterLab notebook ke cluster Amazon EMR](#studio-notebooks-emr-cluster-quickstart-connect)
+ [Langkah 4: Bersihkan CloudFormation tumpukan Anda](#studio-notebooks-emr-cluster-quickstart-clean-stack)

## Langkah 1: Buat domain SageMaker AI untuk meluncurkan cluster EMR Amazon di Studio
<a name="studio-notebooks-emr-cluster-quickstart-setup"></a>

Pada langkah-langkah berikut, Anda menerapkan CloudFormation tumpukan untuk secara otomatis membuat domain SageMaker AI baru. Tumpukan juga membuat profil pengguna dan mengonfigurasi lingkungan dan izin yang diperlukan. Domain SageMaker AI dikonfigurasi untuk memungkinkan Anda meluncurkan kluster EMR Amazon secara langsung dari Studio. Untuk contoh ini, cluster EMR Amazon dibuat di AWS akun yang sama dengan SageMaker AI tanpa otentikasi. [Anda dapat menemukan CloudFormation tumpukan tambahan yang mendukung berbagai metode otentikasi seperti Kerberos di repositori getting\$1started.](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/getting_started) GitHub 

**catatan**  
SageMaker AI memungkinkan 5 domain Studio per AWS akun dan secara Wilayah AWS default. Pastikan akun Anda memiliki tidak lebih dari 4 domain di wilayah Anda sebelum Anda membuat tumpukan.

**Ikuti langkah-langkah ini untuk menyiapkan domain SageMaker AI untuk meluncurkan kluster EMR Amazon dari Studio.**

1. Unduh file mentah [CloudFormation template](https://github.com/aws-samples/sagemaker-studio-foundation-models/blob/main/workshop-artifacts/cfn/workshop-cfn.yaml) ini dari `sagemaker-studio-emr` GitHub repositori.

1. Pergi ke CloudFormation konsol: [https://console.aws.amazon.com/cloudformation](https://console.aws.amazon.com/cloudformation/)

1. Pilih **Buat tumpukan** dan pilih **Dengan sumber daya baru (standar)** dari menu tarik-turun.

1. Di **Langkah 1:**

   1. Di bagian **Siapkan templat**, pilih **Pilih templat yang ada**.

   1. Di bagian **Tentukan templat**, pilih **Unggah file templat**.

   1. Unggah CloudFormation templat yang diunduh dan pilih **Berikutnya**.

1. Pada **Langkah 2**, masukkan **nama Stack** dan **SageMakerDomainName**kemudian pilih **Berikutnya**.

1. Pada **Langkah 3**, simpan semua nilai default dan pilih **Berikutnya**.

1. Pada **Langkah 4**, centang kotak untuk mengakui pembuatan sumber daya dan pilih **Buat tumpukan**. Ini membuat domain Studio di akun dan wilayah Anda.

## Langkah 2: Luncurkan cluster EMR Amazon baru dari Studio UI
<a name="studio-notebooks-emr-cluster-quickstart-launch"></a>

Pada langkah-langkah berikut, Anda membuat cluster EMR Amazon baru dari UI Studio.

1. Buka konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)dan pilih **Domain** di menu sebelah kiri.

1. Klik nama domain Anda **Generatif AIDomain** untuk membuka halaman **detail Domain**.

1. Luncurkan Studio dari profil pengguna`genai-user`.

1. Di panel navigasi kiri, buka **Data** lalu **Amazon EMR Clusters**.

1. **Di halaman klaster EMR Amazon, pilih Buat.** **Pilih template **SageMaker Studio Domain No Auth EMR** yang dibuat oleh CloudFormation tumpukan dan kemudian pilih Berikutnya.**

1. Masukkan nama untuk cluster EMR Amazon yang baru. Opsional memperbarui parameter lain seperti jenis instance core dan master node, idle timeout, atau jumlah node inti.

1. Pilih **Buat sumber daya** untuk meluncurkan kluster EMR Amazon baru. 

   Setelah membuat cluster EMR Amazon, ikuti status di halaman Cluster **EMR**. Saat status berubah`Running/Waiting`, klaster EMR Amazon Anda siap digunakan di Studio.

## Langkah 3: Hubungkan JupyterLab notebook ke cluster Amazon EMR
<a name="studio-notebooks-emr-cluster-quickstart-connect"></a>

Pada langkah-langkah berikut, Anda menghubungkan notebook JupyterLab ke cluster EMR Amazon yang sedang berjalan. Untuk contoh ini, Anda mengimpor notebook yang memungkinkan Anda membangun sistem Retrieval Augmented Generation (RAG) menggunakan pemrosesan terdistribusi Amazon EMR Spark dan database vektor. OpenSearch 

1. 

**Peluncuran JupyterLab**

   Dari Studio, luncurkan JupyterLab aplikasi.

1. 

**Buat ruang pribadi**

   Jika Anda belum membuat ruang untuk JupyterLab aplikasi Anda, pilih **Buat JupyterLab spasi**. Masukkan nama untuk ruang, dan pertahankan ruang sebagai **Pribadi**. Biarkan semua pengaturan lain pada nilai defaultnya, lalu pilih **Buat ruang**. 

   Jika tidak, jalankan JupyterLab ruang Anda untuk meluncurkan JupyterLab aplikasi.

1. 

**Terapkan LLM Anda dan menyematkan model untuk inferensi**
   + Dari menu atas, pilih **File**, **New**, dan kemudian **Terminal**.
   + Di terminal, jalankan perintah berikut.

     ```
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
     mkdir AWSGuides
     cd AWSGuides
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/AmazonSageMakerDeveloperGuide.pdf
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/EC2DeveloperGuide.pdf
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/S3DeveloperGuide.pdf
     ```

     Ini mengambil `Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb` buku catatan ke direktori lokal Anda dan mengunduh tiga file PDF ke `AWSGuides` folder lokal.
   + Buka`lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb`, simpan `Python 3 (ipykernel)` kernel, dan jalankan setiap sel.
**Awas**  
Di bagian **Perjanjian Lisensi Llama 2**, pastikan untuk menerima EULA Llama2 sebelum Anda melanjutkan.  
Notebook ini menyebarkan dua model, `Llama 2` dan`all-MiniLM-L6-v2 Models`, `ml.g5.2xlarge` untuk inferensi.

     Penyebaran model dan pembuatan titik akhir mungkin memakan waktu.

1. 

**Buka buku catatan utama Anda**

   Masuk JupyterLab, buka terminal Anda dan jalankan perintah berikut.

   ```
   cd ..
   wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
   ```

   Anda akan melihat `Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb` notebook tambahan di panel kiri JupyterLab.

1. 

**Pilih `PySpark` kernel**

   Buka `Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb` buku catatan Anda dan pastikan Anda menggunakan `SparkMagic PySpark` kernel. Anda dapat mengganti kernel di kanan atas notebook Anda. Pilih nama kernel saat ini untuk membuka modal pemilihan kernel, lalu pilih`SparkMagic PySpark`.

1. 

**Hubungkan notebook Anda ke cluster**

   1. Di kanan atas notebook Anda, pilih **Cluster**. Tindakan ini membuka jendela modal yang mencantumkan semua cluster yang berjalan yang Anda memiliki izin untuk mengakses. 

   1. Pilih klaster Anda lalu pilih **Connect**. Jendela modal pemilihan tipe kredensi baru terbuka.

   1. Pilih **No credential** dan kemudian **Connect**.  
![\[Modal yang menunjukkan pilihan kredensi EMR Amazon untuk notebook. JupyterLab\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/emr/studio-notebooks-emr-credential-selection.png)

   1. Sel notebook secara otomatis mengisi dan berjalan. Sel notebook memuat `sagemaker_studio_analytics_extension.magics` ekstensi, yang menyediakan fungsionalitas untuk terhubung ke cluster EMR Amazon. Kemudian menggunakan perintah `%sm_analytics` ajaib untuk memulai koneksi ke cluster EMR Amazon Anda dan aplikasi Spark.
**catatan**  
Pastikan string koneksi ke kluster EMR Amazon Anda memiliki jenis otentikasi yang disetel ke. `None` Ini diilustrasikan oleh nilai `--auth-type None` dalam contoh berikut. Anda dapat memodifikasi bidang jika perlu.  

      ```
      %load_ext sagemaker_studio_analytics_extension.magics
      %sm_analytics emr connect --verify-certificate False --cluster-id your-cluster-id --auth-type None --language python
      ```

   1. Setelah Anda berhasil membuat koneksi, pesan keluaran sel koneksi Anda akan menampilkan `SparkSession` detail Anda termasuk ID klaster, ID `YARN` aplikasi, dan tautan ke Spark UI untuk memantau Spark pekerjaan Anda.

Anda siap menggunakan `Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb` notebook. Notebook contoh ini menjalankan PySpark beban kerja terdistribusi untuk membangun sistem RAG menggunakan LangChain dan. OpenSearch

## Langkah 4: Bersihkan CloudFormation tumpukan Anda
<a name="studio-notebooks-emr-cluster-quickstart-clean-stack"></a>

Setelah Anda selesai, pastikan untuk mengakhiri dua titik akhir Anda dan menghapus CloudFormation tumpukan Anda untuk mencegah biaya lanjutan. Menghapus tumpukan membersihkan semua sumber daya yang disediakan oleh tumpukan.

**Untuk menghapus CloudFormation tumpukan Anda ketika Anda selesai dengan itu**

1. Pergi ke CloudFormation konsol: [https://console.aws.amazon.com/cloudformation](https://console.aws.amazon.com/cloudformation/)

1. Pilih tumpukan yang ingin Anda hapus. Anda dapat mencarinya dengan nama atau menemukannya di daftar tumpukan.

1. Klik tombol **Delete** untuk menyelesaikan penghapusan tumpukan dan kemudian **Hapus** lagi untuk mengakui bahwa ini akan menghapus semua sumber daya yang dibuat oleh tumpukan.

   Tunggu penghapusan tumpukan selesai. Ini bisa memakan waktu beberapa menit. CloudFormation secara otomatis membersihkan semua sumber daya yang ditentukan dalam template tumpukan.

1. Verifikasi bahwa semua sumber daya yang dibuat oleh tumpukan telah dihapus. Misalnya, periksa klaster EMR Amazon yang tersisa.

**Untuk menghapus titik akhir API untuk model**

1. Buka konsol SageMaker AI: [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).

1. **Di panel navigasi kiri, pilih **Inferensi** dan kemudian Titik Akhir.**

1. Pilih titik akhir `hf-allminil6v2-embedding-ep` dan kemudian pilih **Hapus** di daftar drop-down **Tindakan**. Ulangi langkah untuk titik akhir`meta-llama2-7b-chat-tg-ep`.

# Panduan admin
<a name="studio-emr-admin-guide"></a>

Bagian ini menyediakan prasyarat, instruksi jaringan untuk memungkinkan komunikasi antara kluster Studio atau Studio Classic dan Amazon EMR. Ini mencakup skenario penyebaran yang berbeda - ketika Studio dan Amazon EMR disediakan dalam VPCs Amazon pribadi tanpa akses internet publik, serta ketika mereka perlu berkomunikasi melalui internet.

Ini berjalan melalui bagaimana administrator dapat menggunakan AWS Service Catalog untuk membuat CloudFormation template tersedia untuk Studio, memungkinkan ilmuwan data untuk menemukan dan menyediakan sendiri kluster EMR Amazon langsung dari dalam Studio. Ini melibatkan pembuatan portofolio Service Catalog, memberikan izin yang diperlukan, mereferensikan template EMR Amazon, dan membuat parameter untuk mengaktifkan penyesuaian selama pembuatan klaster.

Terakhir, ini memberikan panduan tentang mengonfigurasi kemampuan penemuan kluster EMR Amazon yang sedang berjalan dari Studio, dan Studio Classic, yang mencakup skenario akses akun tunggal dan lintas akun bersama dengan izin IAM yang diperlukan.

**Topics**
+ [Konfigurasikan CloudFormation template Amazon EMR di Service Catalog](studio-notebooks-set-up-emr-templates.md)
+ [Konfigurasikan daftar kluster EMR Amazon](studio-notebooks-configure-discoverability-emr-cluster.md)
+ [Konfigurasikan peran runtime IAM untuk akses kluster Amazon EMR di Studio](studio-notebooks-emr-cluster-rbac.md)
+ [Kebijakan referensi](studio-set-up-emr-permissions-reference.md)

# Konfigurasikan CloudFormation template Amazon EMR di Service Catalog
<a name="studio-notebooks-set-up-emr-templates"></a>

[Topik ini mengasumsikan administrator akrab dengan [CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/Welcome.html), [portofolio dan produk di AWS Service Catalog](https://docs.aws.amazon.com/servicecatalog/latest/adminguide/getstarted-portfolio.html), serta Amazon EMR.](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-gs.html)

Untuk menyederhanakan pembuatan cluster EMR Amazon dari Studio, administrator dapat mendaftarkan template [ CloudFormation EMR Amazon](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-elasticmapreduce-cluster.html) sebagai produk dalam portofolio. [AWS Service Catalog](https://docs.aws.amazon.com/servicecatalog/latest/adminguide/introduction.html) Untuk membuat template tersedia bagi ilmuwan data, mereka harus mengaitkan portofolio dengan peran eksekusi SageMaker AI yang digunakan di Studio atau Studio Classic. Terakhir, untuk memungkinkan pengguna menemukan templat, menyediakan kluster, dan terhubung ke kluster EMR Amazon dari Studio atau Studio Classic, administrator perlu menetapkan izin akses yang sesuai.

 CloudFormation Template EMR Amazon dapat memungkinkan pengguna akhir untuk menyesuaikan berbagai aspek cluster. Misalnya, administrator dapat menentukan daftar jenis instans yang disetujui yang dapat dipilih pengguna saat membuat klaster.

Petunjuk berikut menggunakan end-to-end [CloudFormation tumpukan](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/getting_started) untuk menyiapkan domain Studio atau Studio Classic, profil pengguna, portofolio Service Catalog, dan mengisi template peluncuran Amazon EMR. Langkah-langkah berikut menyoroti setelan spesifik yang harus diterapkan administrator di end-to-end tumpukan mereka untuk mengaktifkan Studio atau Studio Classic untuk mengakses produk Service Catalog dan menyediakan kluster Amazon EMR.

**catatan**  
 GitHub Repositori [aws-samples/ sagemaker-studio-emr](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/getting_started) berisi contoh end-to-end CloudFormation tumpukan yang menerapkan peran IAM yang diperlukan, jaringan, domain, profil SageMaker pengguna, portofolio Service Catalog, dan menambahkan template peluncuran Amazon EMR. CloudFormation Template menyediakan opsi otentikasi yang berbeda antara Studio atau Studio Classic dan klaster EMR Amazon. Dalam contoh templat ini, CloudFormation tumpukan induk meneruskan parameter SageMaker AI VPC, grup keamanan, dan subnet ke template cluster EMR Amazon.  
Repositori [sagemaker-studio-emr/cloudformation/emr\$1servicecatalog\$1templates berisi berbagai contoh templat](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/emr_servicecatalog_templates) peluncuran EMR Amazon, termasuk opsi untuk penerapan akun tunggal dan lintas akun. CloudFormation   
Lihat detail tentang metode otentikasi yang dapat Anda gunakan untuk terhubung ke klaster EMR Amazon. [Connect ke kluster EMR Amazon dari SageMaker Studio atau Studio Classic](connect-emr-clusters.md)

Untuk memungkinkan ilmuwan data menemukan CloudFormation templat EMR Amazon dan klaster penyediaan dari Studio atau Studio Classic, ikuti langkah-langkah berikut.

## Langkah 0: Periksa jaringan Anda dan siapkan CloudFormation tumpukan Anda
<a name="studio-set-up-emr-prereq"></a>

Sebelum Anda mulai:
+ Pastikan Anda telah meninjau persyaratan jaringan dan keamanan di[Konfigurasikan akses jaringan untuk kluster EMR Amazon Anda](studio-notebooks-emr-networking.md).
+ Anda harus memiliki end-to-end CloudFormation tumpukan yang ada yang mendukung metode otentikasi pilihan Anda. Anda dapat menemukan contoh CloudFormation template tersebut di [sagemaker-studio-emr GitHub aws-samples/](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/getting_started) repositori. Langkah-langkah berikut menyoroti konfigurasi spesifik di end-to-end tumpukan Anda untuk mengaktifkan penggunaan templat EMR Amazon dalam Studio atau Studio Classic. 

## Langkah 1: Kaitkan portofolio Service Catalog Anda dengan SageMaker AI
<a name="studio-set-up-emr-service-catalog-portfolio"></a>

**Dalam portofolio Service Catalog** Anda, kaitkan ID portofolio Anda dengan peran eksekusi SageMaker AI yang mengakses klaster Anda.

Untuk melakukannya, tambahkan bagian berikut (di sini dalam format YAMAL) ke tumpukan Anda. Ini memberikan akses peran eksekusi SageMaker AI ke portofolio Service Catalog tertentu yang berisi produk seperti template Amazon EMR. Ini memungkinkan peran yang diasumsikan oleh SageMaker AI untuk meluncurkan produk tersebut.

 Ganti *SageMakerExecutionRole.Arn* dan *SageMakerStudioEMRProductPortfolio.ID* dengan nilai aktualnya.

```
SageMakerStudioEMRProductPortfolioPrincipalAssociation:
    Type: AWS::ServiceCatalog::PortfolioPrincipalAssociation
    Properties:
      PrincipalARN: SageMakerExecutionRole.Arn
      PortfolioId: SageMakerStudioEMRProductPortfolio.ID
      PrincipalType: IAM
```

Untuk detail tentang set izin IAM yang diperlukan, lihat bagian [izin](#studio-emr-permissions).

## Langkah 2: Referensi template EMR Amazon dalam produk Service Catalog
<a name="studio-set-up-emr-service-catalog-product"></a>

**Dalam produk Service Catalog portofolio Anda**, rujuk sumber daya template EMR Amazon dan pastikan visibilitasnya di Studio atau Studio Classic. 

Untuk melakukannya, rujuk sumber daya template Amazon EMR dalam definisi produk Service Catalog, lalu tambahkan kunci tag berikut yang `"sagemaker:studio-visibility:emr"` disetel ke nilai `"true"` (lihat contoh dalam format YAMM).

Dalam definisi produk Service Catalog, CloudFormation template cluster direferensikan melalui URL. Tag tambahan yang disetel ke true memastikan visibilitas template EMR Amazon di Studio atau Studio Classic. 

**catatan**  
Template EMR Amazon yang direferensikan oleh URL yang disediakan dalam contoh tidak memberlakukan persyaratan otentikasi apa pun saat diluncurkan. Opsi ini dimaksudkan untuk tujuan demonstrasi dan pembelajaran. Hal ini tidak direkomendasikan dalam lingkungan produksi.

```
SMStudioEMRNoAuthProduct:
    Type: AWS::ServiceCatalog::CloudFormationProduct
    Properties:
      Owner: AWS
      Name: SageMaker Studio Domain No Auth EMR
      ProvisioningArtifactParameters:
        - Name: SageMaker Studio Domain No Auth EMR
          Description: Provisions a SageMaker domain and No Auth EMR Cluster
          Info:
            LoadTemplateFromURL: Link to your CloudFormation template. For example, https://aws-blogs-artifacts-public.s3.amazonaws.com/artifacts/astra-m4-sagemaker/end-to-end/CFN-EMR-NoStudioNoAuthTemplate-v3.yaml
      Tags:
        - Key: "sagemaker:studio-visibility:emr"
          Value: "true"
```

## Langkah 3: Parameterisasi template EMR Amazon CloudFormation
<a name="studio-set-up-emr-cfn-template"></a>

** CloudFormation Template yang digunakan untuk menentukan klaster EMR Amazon dalam produk Service Catalog** memungkinkan administrator menentukan parameter yang dapat dikonfigurasi. Administrator dapat menentukan `Default` nilai dan `AllowedValues` rentang untuk parameter ini dalam `Parameters` bagian template. Selama proses peluncuran cluster, ilmuwan data dapat memberikan input khusus atau membuat pilihan dari opsi yang telah ditentukan untuk menyesuaikan aspek tertentu dari cluster EMR Amazon mereka.

Contoh berikut menggambarkan parameter input tambahan yang administrator dapat mengatur saat membuat template Amazon EMR.

```
"Parameters": {
    "EmrClusterName": {
      "Type": "String",
      "Description": "EMR cluster Name."
    },
    "MasterInstanceType": {
      "Type": "String",
      "Description": "Instance type of the EMR master node.",
      "Default": "m5.xlarge",
      "AllowedValues": [
        "m5.xlarge",
        "m5.2xlarge",
        "m5.4xlarge"
      ]
    },
    "CoreInstanceType": {
      "Type": "String",
      "Description": "Instance type of the EMR core nodes.",
      "Default": "m5.xlarge",
      "AllowedValues": [
        "m5.xlarge",
        "m5.2xlarge",
        "m5.4xlarge",
        "m3.medium",
        "m3.large",
        "m3.xlarge",
        "m3.2xlarge"
      ]
    },
    "CoreInstanceCount": {
      "Type": "String",
      "Description": "Number of core instances in the EMR cluster.",
      "Default": "2",
      "AllowedValues": [
        "2",
        "5",
        "10"
      ]
    },
    "EmrReleaseVersion": {
      "Type": "String",
      "Description": "The release version of EMR to launch.",
      "Default": "emr-5.33.1",
      "AllowedValues": [
        "emr-5.33.1",
        "emr-6.4.0"
      ]
    }
  }
```

Setelah administrator membuat templat CloudFormation EMR Amazon tersedia di Studio, ilmuwan data dapat menggunakannya untuk menyediakan sendiri kluster EMR Amazon. `Parameters`Bagian yang didefinisikan dalam template diterjemahkan ke dalam bidang input pada formulir pembuatan cluster dalam Studio atau Studio Classic. Untuk setiap parameter, ilmuwan data dapat memasukkan nilai khusus ke dalam kotak input atau memilih dari opsi yang telah ditentukan yang tercantum dalam menu tarik-turun, yang sesuai dengan yang `AllowedValues` ditentukan dalam templat.

Ilustrasi berikut menunjukkan bentuk dinamis yang dirakit dari template EMR CloudFormation Amazon untuk membuat cluster EMR Amazon di Studio atau Studio Classic.

![\[Ilustrasi bentuk dinamis yang dirakit dari template EMR CloudFormation Amazon untuk membuat cluster EMR Amazon dari Studio atau Studio Classic.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/emr/studio-notebooks-emr-cluster-creation.png)


Kunjungi [Luncurkan kluster EMR Amazon dari Studio atau Studio Classic](studio-notebooks-launch-emr-cluster-from-template.md) untuk mempelajari cara meluncurkan klaster dari Studio atau Studio Classic menggunakan template Amazon EMR tersebut.

## Langkah 4: Siapkan izin untuk mengaktifkan daftar dan meluncurkan kluster EMR Amazon dari Studio
<a name="studio-emr-permissions"></a>

Terakhir, lampirkan izin IAM yang diperlukan untuk mengaktifkan daftar kluster EMR Amazon yang sedang berjalan dan menyediakan sendiri cluster baru dari Studio atau Studio Classic.

*Peran yang harus Anda tambahkan izin tersebut bergantung pada apakah Studio atau Studio Classic dan Amazon EMR digunakan di akun yang sama (pilih Akun *Tunggal) atau di akun yang berbeda (pilih* Akun Lintas).*

**penting**  
Anda hanya dapat menemukan dan terhubung ke cluster EMR Amazon untuk JupyterLab dan aplikasi Studio Classic yang diluncurkan dari ruang pribadi. Pastikan bahwa kluster EMR Amazon berada di AWS wilayah yang sama dengan lingkungan Studio Anda.

### Akun tunggal
<a name="studio-set-up-emr-permissions-singleaccount"></a>

Jika klaster EMR Amazon dan Studio atau Studio Classic digunakan di AWS akun yang sama, lampirkan izin berikut ke peran eksekusi SageMaker AI yang mengakses klaster Anda.

1. **Langkah 1**: Ambil ARN dari peran eksekusi AI SageMaker yang digunakan oleh ruang pribadi Anda.

   Untuk informasi tentang spasi dan peran eksekusi di SageMaker AI, lihat[Memahami izin ruang domain dan peran eksekusi](execution-roles-and-spaces.md).

   Untuk informasi lebih lanjut tentang cara mengambil ARN SageMaker peran eksekusi AI, lihat. [Dapatkan peran eksekusi Anda](sagemaker-roles.md#sagemaker-roles-get-execution-role)

1. **Langkah 2**: Lampirkan izin berikut ke peran eksekusi SageMaker AI yang mengakses kluster EMR Amazon Anda.

   1. Arahkan ke [konsol IAM](https://console.aws.amazon.com/iam).

   1. Pilih **Peran** dan kemudian cari peran eksekusi berdasarkan nama di kolom **Pencarian**. Nama peran adalah bagian terakhir dari ARN, setelah garis miring terakhir (/). 

   1. Ikuti tautan ke peran Anda.

   1. Pilih **Tambahkan izin**, lalu **Buat kebijakan sebaris**.

   1. Di tab **JSON**, tambahkan izin EMR Amazon yang memungkinkan akses dan operasi EMR Amazon. Untuk detail tentang dokumen kebijakan, lihat *Daftar kebijakan EMR Amazon* di. [Kebijakan referensi](studio-set-up-emr-permissions-reference.md) Ganti`region`, dan `accountID` dengan nilai aktualnya sebelum menyalin daftar pernyataan ke kebijakan inline peran Anda.

   1. Pilih **Berikutnya** dan kemudian berikan **nama Kebijakan**.

   1. Pilih **Buat kebijakan**.

   1. Ulangi langkah **Buat kebijakan sebaris** untuk menambahkan kebijakan lain yang memberikan izin kepada peran eksekusi untuk menyediakan kluster EMR Amazon baru menggunakan templat. CloudFormation Untuk detail tentang dokumen kebijakan, lihat *Membuat EMRclusters kebijakan Amazon* di[Kebijakan referensi](studio-set-up-emr-permissions-reference.md). Ganti `region` dan `accountID` dengan nilai aktualnya sebelum menyalin daftar pernyataan ke kebijakan inline peran Anda.

**catatan**  
Pengguna konektivitas kontrol akses berbasis peran (RBAC) ke kluster EMR Amazon juga harus merujuk. [Konfigurasikan autentikasi peran runtime saat klaster EMR Amazon dan Studio berada di akun yang sama](studio-notebooks-emr-cluster-rbac.md#studio-notebooks-emr-cluster-iam-same) 

### Lintas akun
<a name="studio-set-up-emr-permissions-crossaccount"></a>

Sebelum Anda memulai, ambil ARN dari peran eksekusi AI SageMaker yang digunakan oleh ruang pribadi Anda.

Untuk informasi tentang spasi dan peran eksekusi di SageMaker AI, lihat[Memahami izin ruang domain dan peran eksekusi](execution-roles-and-spaces.md).

Untuk informasi lebih lanjut tentang cara mengambil ARN SageMaker peran eksekusi AI, lihat. [Dapatkan peran eksekusi Anda](sagemaker-roles.md#sagemaker-roles-get-execution-role)

Jika klaster EMR Amazon dan Studio atau Studio Classic digunakan di AWS akun terpisah, Anda mengonfigurasi izin di kedua akun.

**catatan**  
Pengguna konektivitas kontrol akses berbasis peran (RBAC) ke kluster EMR Amazon juga harus merujuk. [Konfigurasikan autentikasi peran runtime saat klaster dan Studio Anda berada di akun yang berbeda](studio-notebooks-emr-cluster-rbac.md#studio-notebooks-emr-cluster-iam-diff) 

#### Di akun cluster Amazon EMR
<a name="studio-set-up-emr-permissions-crossaccount-emraccount"></a>

*Ikuti langkah-langkah ini untuk membuat peran dan kebijakan yang diperlukan pada akun tempat Amazon EMR digunakan, juga disebut sebagai akun kepercayaan:*

1. **Langkah 1**: Ambil ARN dari [peran layanan cluster EMR Amazon Anda](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-role.html). 

   Untuk mempelajari cara menemukan ARN peran layanan klaster, lihat [Mengonfigurasi peran layanan IAM untuk izin EMR Amazon ke layanan](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles.html#emr-iam-role-landing) dan sumber daya. AWS 

1. **Langkah 2**: Buat peran IAM kustom bernama `AssumableRole` dengan konfigurasi berikut:
   + Izin: Berikan izin yang diperlukan `AssumableRole` untuk mengizinkan mengakses sumber daya EMR Amazon. Peran ini juga dikenal sebagai *peran Access* dalam skenario yang melibatkan akses lintas akun.
   + Hubungan kepercayaan: Konfigurasikan kebijakan kepercayaan `AssumableRole` untuk mengizinkan asumsi peran eksekusi (`SageMakerExecutionRole`Dalam diagram lintas akun) dari akun Studio yang memerlukan akses.

   Dengan mengasumsikan peran tersebut, Studio atau Studio Classic dapat memperoleh akses sementara ke izin yang dibutuhkan di Amazon EMR.

   Untuk petunjuk terperinci tentang cara membuat yang baru `AssumableRole` di AWS akun EMR Amazon Anda, ikuti langkah-langkah berikut:

   1. Arahkan ke [konsol IAM](https://console.aws.amazon.com/iam).

   1. Di panel navigasi kiri, pilih **Kebijakan**, lalu **Buat kebijakan**.

   1. Di tab **JSON**, tambahkan izin EMR Amazon yang memungkinkan akses dan operasi EMR Amazon. Untuk detail tentang dokumen kebijakan, lihat *Daftar kebijakan EMR Amazon* di. [Kebijakan referensi](studio-set-up-emr-permissions-reference.md) Ganti`region`, dan `accountID` dengan nilai aktualnya sebelum menyalin daftar pernyataan ke kebijakan inline peran Anda.

   1. Pilih **Berikutnya** dan kemudian berikan **nama Kebijakan**.

   1. Pilih **Buat kebijakan**.

   1. Di panel navigasi kiri, pilih **Peran** dan kemudian **Buat peran**.

   1. Pada halaman **Buat peran**, pilih **Kebijakan kepercayaan khusus** sebagai entitas tepercaya.

   1. Tempel dokumen JSON berikut di bagian **Kebijakan kepercayaan kustom** dan kemudian pilih **Berikutnya**.

------
#### [ For users of Studio and JupyterLab ]

      Ganti `studio-account` dengan ID akun Studio, dan `AmazonSageMaker-ExecutionRole` dengan peran eksekusi yang digunakan oleh JupyterLab spasi Anda.

------
#### [ JSON ]

****  

      ```
      {
          "Version":"2012-10-17",		 	 	 
          "Statement": [
              {
                  "Effect": "Allow",
                  "Principal": {
                      "AWS": "arn:aws:iam::111122223333:role/service-role/AmazonSageMaker-ExecutionRole"
                  },
                  "Action": "sts:AssumeRole"
              }
          ]
      }
      ```

------

------
#### [ For users of Studio Classic ]

      Ganti `studio-account` dengan ID akun Studio Classic.

------
#### [ JSON ]

****  

      ```
      {
          "Version":"2012-10-17",		 	 	 
          "Statement": [
              {
                  "Effect": "Allow",
                  "Principal": {
                      "AWS": "arn:aws:iam::111122223333:root"
                  },
                  "Action": "sts:AssumeRole"
              }
          ]
      }
      ```

------

------

   1. Di halaman **Tambahkan izin**, tambahkan izin yang baru saja Anda buat lalu pilih **Berikutnya**.

   1. Pada halaman **Ulasan**, masukkan nama untuk peran seperti `AssumableRole` dan deskripsi opsional.

   1. Tinjau detail peran dan pilih **Buat peran**.

   Untuk informasi selengkapnya tentang membuat peran di AWS akun, lihat [Membuat peran IAM (konsol)](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user.html).

#### Di akun Studio
<a name="studio-set-up-emr-permissions-crossaccount-studioaccount"></a>

Pada akun tempat Studio digunakan, juga disebut sebagai *akun tepercaya*, perbarui peran eksekusi SageMaker AI yang mengakses kluster Anda dengan izin yang diperlukan untuk mengakses sumber daya di akun kepercayaan.

1. **Langkah 1**: Ambil ARN dari peran eksekusi AI SageMaker yang digunakan oleh ruang pribadi Anda.

   Untuk informasi tentang spasi dan peran eksekusi di SageMaker AI, lihat[Memahami izin ruang domain dan peran eksekusi](execution-roles-and-spaces.md).

   Untuk informasi lebih lanjut tentang cara mengambil ARN SageMaker peran eksekusi AI, lihat. [Dapatkan peran eksekusi Anda](sagemaker-roles.md#sagemaker-roles-get-execution-role)

1. **Langkah 2**: Lampirkan izin berikut ke peran eksekusi SageMaker AI yang mengakses kluster EMR Amazon Anda.

   1. Arahkan ke [konsol IAM](https://console.aws.amazon.com/iam).

   1. Pilih **Peran** dan kemudian cari peran eksekusi berdasarkan nama di kolom **Pencarian**. Nama peran adalah bagian terakhir dari ARN, setelah garis miring terakhir (/). 

   1. Ikuti tautan ke peran Anda.

   1. Pilih **Tambahkan izin**, lalu **Buat kebijakan sebaris**.

   1. Di tab **JSON**, tambahkan kebijakan sebaris yang memberikan izin peran untuk memperbarui domain, profil pengguna, dan spasi. Untuk detail tentang dokumen kebijakan, lihat *Kebijakan tindakan pembaruan domain, profil pengguna, dan ruang* di[Kebijakan referensi](studio-set-up-emr-permissions-reference.md). Ganti `region` dan `accountID` dengan nilai aktualnya sebelum menyalin daftar pernyataan ke kebijakan inline peran Anda.

   1. Pilih **Berikutnya** dan kemudian berikan **nama Kebijakan**.

   1. Pilih **Buat kebijakan**.

   1. Ulangi langkah **Buat kebijakan sebaris** untuk menambahkan kebijakan lain yang memberikan peran eksekusi izin untuk mengambil alih `AssumableRole` dan kemudian melakukan tindakan yang diizinkan oleh kebijakan akses peran. Ganti `emr-account` dengan ID akun EMR Amazon, dan `AssumableRole` dengan nama peran yang dapat diasumsikan dibuat di akun EMR Amazon.

------
#### [ JSON ]

****  

      ```
      {
          "Version":"2012-10-17",		 	 	 
          "Statement": [
              {
                  "Sid": "AllowRoleAssumptionForCrossAccountDiscovery",
                  "Effect": "Allow",
                  "Action": "sts:AssumeRole",
                  "Resource": [
                      "arn:aws:iam::111122223333:role/AssumableRole"
                  ]
              }
          ]
      }
      ```

------

   1. Ulangi langkah **Buat kebijakan sebaris** untuk menambahkan kebijakan lain yang memberikan izin kepada peran eksekusi untuk menyediakan kluster EMR Amazon baru menggunakan templat. CloudFormation Untuk detail tentang dokumen kebijakan, lihat *Membuat EMRclusters kebijakan Amazon* di[Kebijakan referensi](studio-set-up-emr-permissions-reference.md). Ganti `region` dan `accountID` dengan nilai aktualnya sebelum menyalin daftar pernyataan ke kebijakan inline peran Anda.

   1. (Opsional) Untuk mengizinkan pencantuman klaster EMR Amazon yang diterapkan di akun yang sama dengan Studio, tambahkan kebijakan sebaris tambahan ke peran eksekusi Studio Anda seperti yang ditentukan dalam Daftar kebijakan EMR *Amazon* di. [Kebijakan referensi](studio-set-up-emr-permissions-reference.md) 

1. **Langkah 3**: Kaitkan peran yang dapat diasumsikan (peran akses) Anda dengan domain atau profil pengguna Anda. JupyterLab pengguna di Studio dapat menggunakan konsol SageMaker AI atau skrip yang disediakan.

    Pilih tab yang sesuai dengan kasus penggunaan Anda.

------
#### [ Associate your assumable roles in JupyterLab using the SageMaker AI console ]

   Untuk mengaitkan peran yang dapat diasumsikan dengan profil pengguna atau domain Anda menggunakan konsol SageMaker AI:

   1. Arahkan ke konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).

   1. Di panel navigasi kiri, pilih **domain**, lalu pilih domain menggunakan peran eksekusi SageMaker AI yang izinnya Anda perbarui.

   1. 
      + Untuk menambahkan peran yang dapat diasumsikan (peran akses) ke domain Anda: Di tab **Konfigurasi Aplikasi** pada halaman **detail Domain**, navigasikan ke bagian tersebut **JupyterLab**.
      + Untuk menambahkan peran yang dapat diasumsikan (peran akses) ke profil pengguna: Pada halaman **Detail domain**, pilih tab **Profil pengguna, pilih profil** pengguna menggunakan peran eksekusi SageMaker AI yang izinnya Anda perbarui. Di tab **Konfigurasi Aplikasi**, arahkan ke **JupyterLab**bagian tersebut.

   1. Pilih **Edit** dan tambahkan peran ARNs yang dapat diasumsikan (peran akses).

   1. Pilih **Kirim**.

------
#### [ Associate your assumable roles in JupyterLab using a Python script ]

    Dalam JupyterLab aplikasi yang dimulai dari ruang menggunakan peran eksekusi SageMaker AI yang izinnya Anda perbarui, jalankan perintah berikut di terminal. Ganti`domainID`,, `user-profile-name``emr-accountID`, dan `AssumableRole` (`EMRServiceRole`untuk [peran runtime RBAC]()) dengan nilai yang tepat. Cuplikan kode ini memperbarui pengaturan profil pengguna untuk profil pengguna tertentu (penggunaan`client.update_userprofile`) atau pengaturan domain (penggunaan`client.update_domain`) dalam domain SageMaker AI. Secara khusus, ini memungkinkan JupyterLab aplikasi untuk mengambil peran IAM tertentu (`AssumableRole`) untuk menjalankan cluster EMR Amazon dalam akun EMR Amazon.

   ```
   import botocore.session
   import json
   sess = botocore.session.get_session()
   client = sess.create_client('sagemaker')
   
   client.update_userprofile(
   DomainId="domainID", 
   UserProfileName="user-profile-name",
   DefaultUserSettings={
       'JupyterLabAppSettings': {
           'EmrSettings': {
               'AssumableRoleArns': ["arn:aws:iam::emr-accountID:role/AssumableRole"],
               'ExecutionRoleArns': ["arn:aws:iam::emr-accountID:role/EMRServiceRole", 
                                "arn:aws:iam::emr-accountID:role/AnotherServiceRole"]
           }
           
       }
   })
   resp = client.describe_user_profile(DomainId="domainID", UserProfileName=user-profile-name")
   
   resp['CreationTime'] = str(resp['CreationTime'])
   resp['LastModifiedTime'] = str(resp['LastModifiedTime'])
   print(json.dumps(resp, indent=2))
   ```

------
#### [ For users of Studio Classic ]

   Berikan ARN `AssumableRole` untuk peran eksekusi Studio Classic Anda. ARN dimuat oleh server Jupyter saat diluncurkan. *Peran eksekusi yang digunakan oleh Studio mengasumsikan peran lintas akun untuk menemukan dan terhubung ke klaster EMR Amazon di akun kepercayaan.*

   Anda dapat menentukan informasi ini dengan menggunakan skrip Lifecycle Configuration (LCC). Anda dapat melampirkan LCC ke domain Anda atau profil pengguna tertentu. Skrip LCC yang Anda gunakan harus berupa JupyterServer konfigurasi. Untuk informasi selengkapnya tentang cara membuat skrip LCC, lihat [Menggunakan Konfigurasi Siklus Hidup](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html) dengan Studio Classic. 

   Berikut ini adalah contoh skrip LCC. Untuk memodifikasi skrip, ganti `AssumableRole` dan `emr-account` dengan nilainya masing-masing. Jumlah akun silang dibatasi hingga lima.

   ```
   # This script creates the file that informs Studio Classic that the role "arn:aws:iam::emr-account:role/AssumableRole" in remote account "emr-account" must be assumed to list and describe Amazon EMR clusters in the remote account.
   
   #!/bin/bash
   
   set -eux
   
   FILE_DIRECTORY="/home/sagemaker-user/.cross-account-configuration-DO_NOT_DELETE"
   FILE_NAME="emr-discovery-iam-role-arns-DO_NOT_DELETE.json"
   FILE="$FILE_DIRECTORY/$FILE_NAME"
   
   mkdir -p $FILE_DIRECTORY
   
   cat > "$FILE" <<- "EOF"
   {
     emr-cross-account1: "arn:aws:iam::emr-cross-account1:role/AssumableRole",
     emr-cross-account2: "arn:aws:iam::emr-cross-account2:role/AssumableRole"
   }
   EOF
   ```

    Setelah LCC berjalan dan file ditulis, server membaca file `/home/sagemaker-user/.cross-account-configuration-DO_NOT_DELETE/emr-discovery-iam-role-arns-DO_NOT_DELETE.json` dan menyimpan ARN lintas akun.

------

# Konfigurasikan daftar kluster EMR Amazon
<a name="studio-notebooks-configure-discoverability-emr-cluster"></a>

Administrator dapat mengonfigurasi izin untuk peran eksekusi SageMaker Studio agar pengguna dapat melihat daftar kluster EMR Amazon yang dapat mereka akses, sehingga memungkinkan mereka untuk terhubung ke klaster ini. Cluster yang ingin Anda akses dapat digunakan di AWS akun yang sama dengan Studio (pilih Akun *tunggal) atau di akun* terpisah (pilih *Akun silang*). Halaman berikut menjelaskan cara memberikan izin untuk melihat kluster EMR Amazon dari Studio atau Studio Classic.

**penting**  
Anda hanya dapat menemukan dan terhubung ke cluster EMR Amazon untuk JupyterLab dan aplikasi Studio Classic yang diluncurkan dari ruang pribadi. Pastikan bahwa kluster EMR Amazon berada di AWS wilayah yang sama dengan lingkungan Studio Anda.

Untuk memungkinkan ilmuwan data menemukan dan kemudian terhubung ke Amazon EMRclusters dari Studio atau Studio Classic, ikuti langkah-langkah berikut.

## Akun tunggal
<a name="studio-set-up-emr-permissions-singleaccount-list-clusters"></a>

Jika klaster EMR Amazon dan Studio atau Studio Classic digunakan di AWS akun yang sama, lampirkan izin berikut ke peran eksekusi SageMaker AI yang mengakses klaster Anda.

1. **Langkah 1**: Ambil ARN dari peran eksekusi AI SageMaker yang digunakan oleh ruang pribadi Anda.

   Untuk informasi tentang spasi dan peran eksekusi di SageMaker AI, lihat[Memahami izin ruang domain dan peran eksekusi](execution-roles-and-spaces.md).

   Untuk informasi lebih lanjut tentang cara mengambil ARN SageMaker peran eksekusi AI, lihat. [Dapatkan peran eksekusi Anda](sagemaker-roles.md#sagemaker-roles-get-execution-role)

1. **Langkah 2**: Lampirkan izin berikut ke peran eksekusi SageMaker AI yang mengakses kluster EMR Amazon Anda.

   1. Arahkan ke [konsol IAM](https://console.aws.amazon.com/iam).

   1. Pilih **Peran** dan kemudian cari peran eksekusi berdasarkan nama di kolom **Pencarian**. Nama peran adalah bagian terakhir dari ARN, setelah garis miring terakhir (/). 

   1. Ikuti tautan ke peran Anda.

   1. Pilih **Tambahkan izin**, lalu **Buat kebijakan sebaris**.

   1. Di tab **JSON**, tambahkan izin EMR Amazon yang memungkinkan akses dan operasi EMR Amazon. Untuk detail tentang dokumen kebijakan, lihat *Daftar kebijakan EMR Amazon* di. [Kebijakan referensi](studio-set-up-emr-permissions-reference.md) Ganti`region`, dan `accountID` dengan nilai aktualnya sebelum menyalin daftar pernyataan ke kebijakan inline peran Anda.

   1. Pilih **Berikutnya** dan kemudian berikan **nama Kebijakan**.

   1. Pilih **Buat kebijakan**.

**catatan**  
Pengguna konektivitas kontrol akses berbasis peran (RBAC) ke kluster EMR Amazon juga harus merujuk. [Konfigurasikan autentikasi peran runtime saat klaster EMR Amazon dan Studio berada di akun yang sama](studio-notebooks-emr-cluster-rbac.md#studio-notebooks-emr-cluster-iam-same) 

## Lintas akun
<a name="studio-set-up-emr-permissions-crossaccount-list-clusters"></a>

Sebelum Anda memulai, ambil ARN dari peran eksekusi AI SageMaker yang digunakan oleh ruang pribadi Anda.

Untuk informasi tentang spasi dan peran eksekusi di SageMaker AI, lihat[Memahami izin ruang domain dan peran eksekusi](execution-roles-and-spaces.md).

Untuk informasi lebih lanjut tentang cara mengambil ARN SageMaker peran eksekusi AI, lihat. [Dapatkan peran eksekusi Anda](sagemaker-roles.md#sagemaker-roles-get-execution-role)

Jika klaster EMR Amazon dan Studio atau Studio Classic digunakan di AWS akun terpisah, Anda mengonfigurasi izin di kedua akun.

**catatan**  
Pengguna konektivitas kontrol akses berbasis peran (RBAC) ke kluster EMR Amazon juga harus merujuk. [Konfigurasikan autentikasi peran runtime saat klaster dan Studio Anda berada di akun yang berbeda](studio-notebooks-emr-cluster-rbac.md#studio-notebooks-emr-cluster-iam-diff) 

**Di akun cluster Amazon EMR**

*Ikuti langkah-langkah ini untuk membuat peran dan kebijakan yang diperlukan pada akun tempat Amazon EMR digunakan, juga disebut sebagai akun kepercayaan:*

1. **Langkah 1**: Ambil ARN dari [peran layanan cluster EMR Amazon Anda](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-role.html). 

   Untuk mempelajari cara menemukan ARN peran layanan klaster, lihat [Mengonfigurasi peran layanan IAM untuk izin EMR Amazon ke layanan](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles.html#emr-iam-role-landing) dan sumber daya. AWS 

1. **Langkah 2**: Buat peran IAM kustom bernama `AssumableRole` dengan konfigurasi berikut:
   + Izin: Berikan izin yang diperlukan `AssumableRole` untuk mengizinkan mengakses sumber daya EMR Amazon. Peran ini juga dikenal sebagai *peran Access* dalam skenario yang melibatkan akses lintas akun.
   + Hubungan kepercayaan: Konfigurasikan kebijakan kepercayaan `AssumableRole` untuk mengizinkan asumsi peran eksekusi (`SageMakerExecutionRole`Dalam diagram lintas akun) dari akun Studio yang memerlukan akses.

   Dengan mengasumsikan peran tersebut, Studio atau Studio Classic dapat memperoleh akses sementara ke izin yang dibutuhkan di Amazon EMR.

   Untuk petunjuk terperinci tentang cara membuat yang baru `AssumableRole` di AWS akun EMR Amazon Anda, ikuti langkah-langkah berikut:

   1. Arahkan ke [konsol IAM](https://console.aws.amazon.com/iam).

   1. Di panel navigasi kiri, pilih **Kebijakan**, lalu **Buat kebijakan**.

   1. Di tab **JSON**, tambahkan izin EMR Amazon yang memungkinkan akses dan operasi EMR Amazon. Untuk detail tentang dokumen kebijakan, lihat *Daftar kebijakan EMR Amazon* di. [Kebijakan referensi](studio-set-up-emr-permissions-reference.md) Ganti`region`, dan `accountID` dengan nilai aktualnya sebelum menyalin daftar pernyataan ke kebijakan inline peran Anda.

   1. Pilih **Berikutnya** dan kemudian berikan **nama Kebijakan**.

   1. Pilih **Buat kebijakan**.

   1. Di panel navigasi kiri, pilih **Peran** dan kemudian **Buat peran**.

   1. Pada halaman **Buat peran**, pilih **Kebijakan kepercayaan khusus** sebagai entitas tepercaya.

   1. Tempel dokumen JSON berikut di bagian **Kebijakan kepercayaan kustom** dan kemudian pilih **Berikutnya**.

------
#### [ For users of Studio and JupyterLab ]

      Ganti `studio-account` dengan ID akun Studio, dan `AmazonSageMaker-ExecutionRole` dengan peran eksekusi yang digunakan oleh JupyterLab spasi Anda.

------
#### [ JSON ]

****  

      ```
      {
          "Version":"2012-10-17",		 	 	 
          "Statement": [
              {
                  "Effect": "Allow",
                  "Principal": {
                      "AWS": "arn:aws:iam::111122223333:role/service-role/AmazonSageMaker-ExecutionRole"
                  },
                  "Action": "sts:AssumeRole"
              }
          ]
      }
      ```

------

------
#### [ For users of Studio Classic ]

      Ganti `studio-account` dengan ID akun Studio Classic.

------
#### [ JSON ]

****  

      ```
      {
          "Version":"2012-10-17",		 	 	 
          "Statement": [
              {
                  "Effect": "Allow",
                  "Principal": {
                      "AWS": "arn:aws:iam::111122223333:root"
                  },
                  "Action": "sts:AssumeRole"
              }
          ]
      }
      ```

------

------

   1. Di halaman **Tambahkan izin**, tambahkan izin yang baru saja Anda buat lalu pilih **Berikutnya**.

   1. Pada halaman **Ulasan**, masukkan nama untuk peran seperti `AssumableRole` dan deskripsi opsional.

   1. Tinjau detail peran dan pilih **Buat peran**.

   Untuk informasi selengkapnya tentang membuat peran di AWS akun, lihat [Membuat peran IAM (konsol)](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user.html).

**Di akun Studio**

Pada akun tempat Studio digunakan, juga disebut sebagai *akun tepercaya*, perbarui peran eksekusi SageMaker AI yang mengakses kluster Anda dengan izin yang diperlukan untuk mengakses sumber daya di akun kepercayaan.

1. **Langkah 1**: Ambil ARN dari peran eksekusi AI SageMaker yang digunakan oleh ruang pribadi Anda.

   Untuk informasi tentang spasi dan peran eksekusi di SageMaker AI, lihat[Memahami izin ruang domain dan peran eksekusi](execution-roles-and-spaces.md).

   Untuk informasi lebih lanjut tentang cara mengambil ARN SageMaker peran eksekusi AI, lihat. [Dapatkan peran eksekusi Anda](sagemaker-roles.md#sagemaker-roles-get-execution-role)

1. **Langkah 2**: Lampirkan izin berikut ke peran eksekusi SageMaker AI yang mengakses kluster EMR Amazon Anda.

   1. Arahkan ke [konsol IAM](https://console.aws.amazon.com/iam).

   1. Pilih **Peran** dan kemudian cari peran eksekusi berdasarkan nama di kolom **Pencarian**. Nama peran adalah bagian terakhir dari ARN, setelah garis miring terakhir (/). 

   1. Ikuti tautan ke peran Anda.

   1. Pilih **Tambahkan izin**, lalu **Buat kebijakan sebaris**.

   1. Di tab **JSON**, tambahkan kebijakan sebaris yang memberikan izin peran untuk memperbarui domain, profil pengguna, dan spasi. Untuk detail tentang dokumen kebijakan, lihat *Kebijakan tindakan pembaruan domain, profil pengguna, dan ruang* di[Kebijakan referensi](studio-set-up-emr-permissions-reference.md). Ganti `region` dan `accountID` dengan nilai aktualnya sebelum menyalin daftar pernyataan ke kebijakan inline peran Anda.

   1. Pilih **Berikutnya** dan kemudian berikan **nama Kebijakan**.

   1. Pilih **Buat kebijakan**.

   1. Ulangi langkah **Buat kebijakan sebaris** untuk menambahkan kebijakan lain yang memberikan peran eksekusi izin untuk mengambil alih `AssumableRole` dan kemudian melakukan tindakan yang diizinkan oleh kebijakan akses peran. Ganti `emr-account` dengan ID akun EMR Amazon, dan `AssumableRole` dengan nama peran yang dapat diasumsikan dibuat di akun EMR Amazon.

------
#### [ JSON ]

****  

      ```
      {
          "Version":"2012-10-17",		 	 	 
          "Statement": [
              {
                  "Sid": "AllowRoleAssumptionForCrossAccountDiscovery",
                  "Effect": "Allow",
                  "Action": "sts:AssumeRole",
                  "Resource": [
                      "arn:aws:iam::111122223333:role/AssumableRole"
                  ]
              }
          ]
      }
      ```

------

   1. (Opsional) Untuk mengizinkan pencantuman klaster EMR Amazon yang diterapkan di akun yang sama dengan Studio, tambahkan kebijakan sebaris tambahan ke peran eksekusi Studio Anda seperti yang ditentukan dalam Daftar kebijakan EMR *Amazon* di. [Kebijakan referensi](studio-set-up-emr-permissions-reference.md) 

1. **Langkah 3**: Kaitkan peran yang dapat diasumsikan (peran akses) Anda dengan domain atau profil pengguna Anda. JupyterLabpengguna di Studio dapat menggunakan konsol SageMaker AI atau skrip yang disediakan.

    Pilih tab yang sesuai dengan kasus penggunaan Anda.

------
#### [ Associate your assumable roles in JupyterLab using the SageMaker AI console ]

   Untuk mengaitkan peran yang dapat diasumsikan dengan profil pengguna atau domain Anda menggunakan konsol SageMaker AI:

   1. Arahkan ke konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).

   1. Di panel navigasi kiri, pilih **domain**, lalu pilih domain menggunakan peran eksekusi SageMaker AI yang izinnya Anda perbarui.

   1. 
      + Untuk menambahkan peran yang dapat diasumsikan (peran akses) ke domain Anda: Di tab **Konfigurasi Aplikasi** pada halaman **detail Domain**, navigasikan ke bagian tersebut **JupyterLab**.
      + Untuk menambahkan peran yang dapat diasumsikan (peran akses) ke profil pengguna: Pada halaman **Detail domain**, pilih tab **Profil pengguna, pilih profil** pengguna menggunakan peran eksekusi SageMaker AI yang izinnya Anda perbarui. Di tab **Konfigurasi Aplikasi**, arahkan ke **JupyterLab**bagian tersebut.

   1. Pilih **Edit** dan tambahkan peran ARNs yang dapat diasumsikan (peran akses).

   1. Pilih **Kirim**.

------
#### [ Associate your assumable roles in JupyterLab using a Python script ]

    Dalam JupyterLab aplikasi yang dimulai dari ruang menggunakan peran eksekusi SageMaker AI yang izinnya Anda perbarui, jalankan perintah berikut di terminal. Ganti`domainID`,, `user-profile-name``emr-accountID`, dan `AssumableRole` (`EMRServiceRole`untuk [peran runtime RBAC]()) dengan nilai yang tepat. Cuplikan kode ini memperbarui pengaturan profil pengguna untuk profil pengguna tertentu (penggunaan`client.update_userprofile`) atau pengaturan domain (penggunaan`client.update_domain`) dalam domain SageMaker AI. Secara khusus, ini memungkinkan JupyterLab aplikasi untuk mengambil peran IAM tertentu (`AssumableRole`) untuk menjalankan cluster EMR Amazon dalam akun EMR Amazon.

   ```
   import botocore.session
   import json
   sess = botocore.session.get_session()
   client = sess.create_client('sagemaker')
   
   client.update_userprofile(
   DomainId="domainID", 
   UserProfileName="user-profile-name",
   DefaultUserSettings={
       'JupyterLabAppSettings': {
           'EmrSettings': {
               'AssumableRoleArns': ["arn:aws:iam::emr-accountID:role/AssumableRole"],
               'ExecutionRoleArns': ["arn:aws:iam::emr-accountID:role/EMRServiceRole", 
                                "arn:aws:iam::emr-accountID:role/AnotherServiceRole"]
           }
           
       }
   })
   resp = client.describe_user_profile(DomainId="domainID", UserProfileName=user-profile-name")
   
   resp['CreationTime'] = str(resp['CreationTime'])
   resp['LastModifiedTime'] = str(resp['LastModifiedTime'])
   print(json.dumps(resp, indent=2))
   ```

------
#### [ For users of Studio Classic ]

   Berikan ARN `AssumableRole` untuk peran eksekusi Studio Classic Anda. ARN dimuat oleh server Jupyter saat diluncurkan. *Peran eksekusi yang digunakan oleh Studio mengasumsikan peran lintas akun untuk menemukan dan terhubung ke klaster EMR Amazon di akun kepercayaan.*

   Anda dapat menentukan informasi ini dengan menggunakan skrip Lifecycle Configuration (LCC). Anda dapat melampirkan LCC ke domain Anda atau profil pengguna tertentu. Skrip LCC yang Anda gunakan harus berupa JupyterServer konfigurasi. Untuk informasi selengkapnya tentang cara membuat skrip LCC, lihat [Menggunakan Konfigurasi Siklus Hidup](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html) dengan Studio Classic. 

   Berikut ini adalah contoh skrip LCC. Untuk memodifikasi skrip, ganti `AssumableRole` dan `emr-account` dengan nilainya masing-masing. Jumlah akun silang dibatasi hingga lima.

   ```
   # This script creates the file that informs Studio Classic that the role "arn:aws:iam::emr-account:role/AssumableRole" in remote account "emr-account" must be assumed to list and describe Amazon EMR clusters in the remote account.
   
   #!/bin/bash
   
   set -eux
   
   FILE_DIRECTORY="/home/sagemaker-user/.cross-account-configuration-DO_NOT_DELETE"
   FILE_NAME="emr-discovery-iam-role-arns-DO_NOT_DELETE.json"
   FILE="$FILE_DIRECTORY/$FILE_NAME"
   
   mkdir -p $FILE_DIRECTORY
   
   cat > "$FILE" <<- "EOF"
   {
     emr-cross-account1: "arn:aws:iam::emr-cross-account1:role/AssumableRole",
     emr-cross-account2: "arn:aws:iam::emr-cross-account2:role/AssumableRole"
   }
   EOF
   ```

    Setelah LCC berjalan dan file ditulis, server membaca file `/home/sagemaker-user/.cross-account-configuration-DO_NOT_DELETE/emr-discovery-iam-role-arns-DO_NOT_DELETE.json` dan menyimpan ARN lintas akun.

------

Lihat [Daftar kluster EMR Amazon dari Studio atau Studio Classic](discover-emr-clusters.md) untuk mempelajari cara menemukan dan terhubung ke kluster EMR Amazon dari notebook Studio atau Studio Classic.

# Konfigurasikan peran runtime IAM untuk akses kluster Amazon EMR di Studio
<a name="studio-notebooks-emr-cluster-rbac"></a>

Saat tersambung ke klaster EMR Amazon dari notebook Studio atau Studio Classic, Anda dapat menelusuri daftar peran IAM secara visual, yang dikenal sebagai peran runtime, dan memilihnya dengan cepat. Selanjutnya, semua pekerjaan Apache Spark, Apache Hive, atau Presto yang dibuat dari buku catatan Anda hanya mengakses data dan sumber daya yang diizinkan oleh kebijakan yang dilampirkan pada peran runtime. Selain itu, saat data diakses dari data lake yang dikelola AWS Lake Formation, Anda dapat menerapkan akses tingkat tabel dan tingkat kolom menggunakan kebijakan yang dilampirkan pada peran runtime.

Dengan kemampuan ini, Anda dan rekan tim Anda dapat terhubung ke cluster yang sama, masing-masing menggunakan peran runtime yang dicakup dengan izin yang sesuai dengan tingkat akses individual Anda ke data. Sesi Anda juga terisolasi satu sama lain di cluster bersama. 

Untuk mencoba fitur ini menggunakan Studio Classic, lihat [Menerapkan kontrol akses data berbutir halus dengan dan AWS Lake Formation Amazon EMR dari Amazon](https://aws.amazon.com/blogs/machine-learning/apply-fine-grained-data-access-controls-with-aws-lake-formation-and-amazon-emr-from-amazon-sagemaker-studio/) Studio Classic. SageMaker Posting blog ini membantu Anda mengatur lingkungan demo tempat Anda dapat mencoba menggunakan peran runtime yang telah dikonfigurasi sebelumnya untuk terhubung ke kluster EMR Amazon.

## Prasyarat
<a name="studio-notebooks-emr-cluster-rbac-prereq"></a>

Sebelum Anda memulai, pastikan Anda memenuhi prasyarat berikut:
+ Gunakan Amazon EMR versi 6.9 atau lebih tinggi.
+ **Untuk pengguna Studio Classic**: Gunakan JupyterLab versi 3 dalam konfigurasi aplikasi server Studio Classic Jupyter. Versi ini mendukung koneksi Studio Classic ke cluster EMR Amazon menggunakan peran runtime.

  **Untuk pengguna Studio**: Gunakan versi [gambar SageMaker distribusi](sagemaker-distribution.md) `1.10` atau lebih tinggi.
+ Izinkan penggunaan peran runtime dalam konfigurasi keamanan klaster Anda. Untuk informasi selengkapnya, lihat [Peran waktu proses untuk langkah-langkah EMR Amazon](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-steps-runtime-roles.html).
+ Buat buku catatan dengan salah satu kernel yang tercantum di[Gambar dan kernel yang didukung untuk terhubung ke kluster EMR Amazon dari Studio atau Studio Classic](studio-emr-user-guide.md#studio-notebooks-emr-cluster-connect-kernels).
+ Pastikan Anda meninjau instruksi [Siapkan Studio untuk menggunakan peran IAM runtime](#studio-notebooks-emr-cluster-iam) untuk mengonfigurasi peran runtime Anda.

## Skenario koneksi lintas akun
<a name="studio-notebooks-emr-cluster-rbac-scen"></a>

Autentikasi peran runtime mendukung berbagai skenario koneksi lintas akun saat data Anda berada di luar akun Studio Anda. Gambar berikut menunjukkan tiga cara berbeda untuk menetapkan klaster EMR Amazon, data, dan bahkan peran eksekusi runtime Amazon EMR antara Studio dan akun data: 

![\[Skenario lintas akun didukung oleh otentikasi peran IAM runtime.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio-emr-rbac-scenarios.png)


Di opsi 1, klaster EMR Amazon dan peran eksekusi runtime Amazon EMR Anda berada di akun data terpisah dari akun Studio. Anda menentukan kebijakan izin peran akses EMR Amazon terpisah (juga disebut sebagai`Assumable role`) yang memberikan izin ke peran eksekusi Studio atau Studio Classic untuk mengambil peran akses Amazon EMR. Peran akses EMR Amazon kemudian memanggil API EMR Amazon `GetClusterSessionCredentials` atas nama peran eksekusi Studio atau Studio Classic Anda, sehingga Anda dapat mengakses klaster.

Di opsi 2, klaster EMR Amazon dan peran eksekusi runtime Amazon EMR Anda ada di akun Studio Anda. Peran eksekusi Studio Anda memiliki izin untuk menggunakan Amazon EMR API `GetClusterSessionCredentials` untuk mendapatkan akses ke klaster Anda. Untuk mengakses bucket Amazon S3, berikan izin akses bucket Amazon S3 peran eksekusi runtime Amazon S3 lintas akun - Anda memberikan izin ini dalam kebijakan bucket Amazon S3 Anda.

Di opsi 3, kluster EMR Amazon Anda ada di akun Studio Anda, dan peran eksekusi runtime Amazon EMR ada di akun data. Peran eksekusi Studio atau Studio Classic Anda memiliki izin untuk menggunakan Amazon EMR API `GetClusterSessionCredentials` untuk mendapatkan akses ke klaster Anda. Tambahkan peran eksekusi runtime Amazon EMR ke dalam konfigurasi peran eksekusi JSON. Kemudian Anda dapat memilih peran di UI saat memilih klaster. Untuk detail tentang cara mengatur file JSON konfigurasi peran eksekusi, lihat[Memuat peran eksekusi Anda ke Studio atau Studio Classic](#studio-notebooks-emr-cluster-iam-preload).

## Siapkan Studio untuk menggunakan peran IAM runtime
<a name="studio-notebooks-emr-cluster-iam"></a>

Untuk membuat otentikasi peran runtime untuk kluster EMR Amazon Anda, konfigurasikan kebijakan IAM, jaringan, dan peningkatan kegunaan yang diperlukan. Penyiapan Anda bergantung pada apakah Anda menangani pengaturan lintas akun jika klaster EMR Amazon, peran eksekusi runtime Amazon EMR, atau keduanya, berada di luar akun Studio Anda. Bagian berikut memandu Anda melalui kebijakan untuk menginstal, cara mengonfigurasi jaringan untuk mengizinkan lalu lintas antar akun, dan file konfigurasi lokal yang akan disiapkan untuk mengotomatiskan koneksi EMR Amazon Anda.

### Konfigurasikan autentikasi peran runtime saat klaster EMR Amazon dan Studio berada di akun yang sama
<a name="studio-notebooks-emr-cluster-iam-same"></a>

Jika klaster EMR Amazon Anda berada di akun Studio Anda, selesaikan langkah-langkah berikut untuk menambahkan izin yang diperlukan ke kebijakan eksekusi Studio Anda:

1. Tambahkan kebijakan IAM yang diperlukan untuk terhubung ke kluster EMR Amazon. Lihat perinciannya di [Konfigurasikan daftar kluster EMR Amazon](studio-notebooks-configure-discoverability-emr-cluster.md).

1. Berikan izin untuk memanggil API EMR Amazon `GetClusterSessionCredentials` saat Anda meneruskan satu atau beberapa peran eksekusi runtime Amazon EMR yang diizinkan yang ditentukan dalam kebijakan.

1. (Opsional) Berikan izin untuk meneruskan peran IAM yang mengikuti konvensi penamaan yang ditentukan pengguna.

1. (Opsional) Berikan izin untuk mengakses kluster EMR Amazon yang ditandai dengan string yang ditentukan pengguna tertentu.

1. Memuat peran IAM Anda terlebih dahulu sehingga Anda dapat memilih peran yang akan digunakan saat Anda terhubung ke klaster EMR Amazon Anda. Untuk detail tentang cara pramuat peran IAM Anda, lihat. [Memuat peran eksekusi Anda ke Studio atau Studio Classic](#studio-notebooks-emr-cluster-iam-preload)

Contoh kebijakan berikut memungkinkan peran eksekusi runtime Amazon EMR milik grup pemodelan dan pelatihan untuk dipanggil. `GetClusterSessionCredentials` Selain itu, pemegang polis dapat mengakses kluster EMR Amazon yang ditandai dengan string atau. `modeling` `training`

------
#### [ JSON ]

****  

```
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "elasticmapreduce:GetClusterSessionCredentials",
            "Resource": "*",
            "Condition": {
                "ArnLike": {
                    "elasticmapreduce:ExecutionRoleArn": [
                        "arn:aws:iam::111122223333:role/emr-execution-role-ml-modeling*",
                        "arn:aws:iam::111122223333:role/emr-execution-role-ml-training*"
			]},
		"StringLike":{
                    "elasticmapreduce:ResourceTag/group": [
                        "*modeling*",
                        "*training*"
                    ]
                }
            }
        }
    ]
}
```

------

### Konfigurasikan autentikasi peran runtime saat klaster dan Studio Anda berada di akun yang berbeda
<a name="studio-notebooks-emr-cluster-iam-diff"></a>

Jika klaster EMR Amazon Anda tidak ada di akun Studio Anda, izinkan peran eksekusi SageMaker AI Anda untuk mengambil peran akses Amazon EMR lintas akun sehingga Anda dapat terhubung ke cluster. Selesaikan langkah-langkah berikut untuk menyiapkan konfigurasi lintas akun Anda:

1. Buat kebijakan izin peran eksekusi SageMaker AI Anda sehingga peran eksekusi dapat mengambil peran akses EMR Amazon. Kebijakan berikut adalah contoh:

------
#### [ JSON ]

****  

   ```
   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Sid": "AllowAssumeCrossAccountEMRAccessRole",
               "Effect": "Allow",
               "Action": "sts:AssumeRole",
               "Resource": "arn:aws:iam::111122223333:role/emr-access-role-name"
           }
       ]
   }
   ```

------

1. Buat kebijakan kepercayaan untuk menentukan akun Studio mana IDs yang dipercaya untuk mengambil peran akses EMR Amazon. Kebijakan berikut adalah contoh:

------
#### [ JSON ]

****  

   ```
   {
     "Version":"2012-10-17",		 	 	 
     "Statement": [
         {
           "Sid": "AllowCrossAccountSageMakerExecutionRoleToAssumeThisRole",
           "Effect": "Allow",
           "Principal": {
             "AWS": "arn:aws:iam::111122223333:role/studio_execution_role"
           },
           "Action": "sts:AssumeRole"
         }
       ]
   }
   ```

------

1. Buat kebijakan izin peran akses EMR Amazon, yang memberikan peran eksekusi runtime Amazon EMR izin yang diperlukan untuk melaksanakan tugas yang dimaksudkan di cluster. Konfigurasikan peran akses EMR Amazon untuk memanggil API `GetClusterSessionCredentials` dengan peran eksekusi runtime Amazon EMR yang ditentukan dalam kebijakan izin peran akses. Kebijakan berikut adalah contoh:

------
#### [ JSON ]

****  

   ```
   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Sid": "AllowCallingEmrGetClusterSessionCredentialsAPI",
               "Effect": "Allow",
               "Action": "elasticmapreduce:GetClusterSessionCredentials",
               "Resource": "arn:aws:elasticmapreduce:us-east-1:111122223333:cluster/cluster-id",
               "Condition": {
                   "StringLike": {
                       "elasticmapreduce:ExecutionRoleArn": [
                           "arn:aws:iam::111122223333:role/emr-execution-role-name"
                       ]
                   }
               }
           }
       ]
   }
   ```

------

1. Siapkan jaringan lintas akun sehingga lalu lintas dapat bergerak bolak-balik antar akun Anda. Untuk instruksi terpandu, lihat *[Konfigurasikan akses jaringan untuk kluster EMR Amazon Anda](studio-notebooks-emr-networking.md)Mengatur*. Langkah-langkah di bagian ini membantu Anda menyelesaikan tugas-tugas berikut:

   1. VPC-peer akun Studio Anda dan akun EMR Amazon Anda untuk membuat koneksi.

   1. Tambahkan rute secara manual ke tabel rute subnet pribadi di kedua akun. Ini memungkinkan pembuatan dan koneksi cluster EMR Amazon dari akun Studio ke subnet pribadi akun jarak jauh.

   1. Siapkan grup keamanan yang dilampirkan ke domain Studio Anda untuk mengizinkan lalu lintas keluar dan grup keamanan node utama EMR Amazon untuk mengizinkan lalu lintas TCP masuk dari grup keamanan instans Studio.

1. Memuat peran runtime IAM agar Anda dapat memilih peran yang akan digunakan saat terhubung ke klaster EMR Amazon. Untuk detail tentang cara pramuat peran IAM Anda, lihat. [Memuat peran eksekusi Anda ke Studio atau Studio Classic](#studio-notebooks-emr-cluster-iam-preload)

### Konfigurasikan akses Lake Formation
<a name="studio-notebooks-emr-cluster-iam-lf"></a>

Saat mengakses data dari data lake yang dikelola oleh AWS Lake Formation, Anda dapat menerapkan akses tingkat tabel dan tingkat kolom menggunakan kebijakan yang dilampirkan pada peran runtime Anda. Untuk mengonfigurasi izin akses Lake Formation, lihat [Mengintegrasikan Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lake-formation.html) dengan. AWS Lake Formation

### Memuat peran eksekusi Anda ke Studio atau Studio Classic
<a name="studio-notebooks-emr-cluster-iam-preload"></a>

Anda dapat melakukan pramuat peran runtime IAM sehingga Anda dapat memilih peran yang akan digunakan saat terhubung ke klaster EMR Amazon. Pengguna JupyterLab di Studio dapat menggunakan konsol SageMaker AI atau skrip yang disediakan.

------
#### [ Preload runtime roles in JupyterLab using the SageMaker AI console ]

Untuk mengaitkan peran runtime Anda dengan profil pengguna atau domain Anda menggunakan konsol SageMaker AI:

1. Arahkan ke konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).

1. Di panel navigasi kiri, pilih **domain**, lalu pilih domain menggunakan peran eksekusi SageMaker AI yang izinnya Anda perbarui.

1. 
   + Untuk menambahkan runtime (dan mengakses peran untuk kasus penggunaan lintas akun) ke domain Anda: Di tab **Konfigurasi Aplikasi** pada halaman **detail Domain**, buka bagian tersebut. **JupyterLab**
   + Untuk menambahkan runtime Anda (dan mengakses peran untuk kasus penggunaan lintas akun) ke profil pengguna Anda: Pada halaman **Detail domain**, pilih tab **Profil pengguna, pilih profil** pengguna menggunakan peran eksekusi SageMaker AI yang izinnya Anda perbarui. Di tab **Konfigurasi Aplikasi**, arahkan ke **JupyterLab**bagian tersebut.

1. Pilih **Edit** dan tambahkan peran akses Anda (peran yang dapat diasumsikan) dan peran eksekusi runtime EMR Tanpa Server. ARNs 

1. Pilih **Kirim**.

Saat Anda selanjutnya terhubung ke server EMR Amazon, peran runtime akan muncul di menu tarik-turun untuk dipilih.

------
#### [ Preload runtime roles in JupyterLab using a Python script ]

Dalam JupyterLab aplikasi yang dimulai dari ruang menggunakan peran eksekusi SageMaker AI yang izinnya Anda perbarui, jalankan perintah berikut di terminal. Ganti`domainID`,`user-profile-name`,`emr-accountID`, dan `EMRServiceRole` dengan nilai-nilai yang tepat. Cuplikan kode ini memperbarui pengaturan profil pengguna (`client.update_user_profile`) dalam domain SageMaker AI dalam kasus penggunaan lintas akun. Secara khusus, ini menetapkan peran layanan untuk Amazon EMR. Ini juga memungkinkan JupyterLab aplikasi untuk mengambil peran IAM tertentu (`AssumableRole`atau`AccessRole`) untuk menjalankan Amazon EMR dalam akun Amazon EMR.

Atau, gunakan `client.update_domain` untuk memperbarui pengaturan domain jika ruang Anda menggunakan peran eksekusi yang ditetapkan di tingkat domain.

```
import botocore.session
import json
sess = botocore.session.get_session()
client = sess.create_client('sagemaker')

client.update_user_profile(
DomainId="domainID", 
UserProfileName="user-profile-name",
UserSettings={
    'JupyterLabAppSettings': {
        'EmrSettings': {
            'AssumableRoleArns': ["arn:aws:iam::emr-accountID:role/AssumableRole"],
            'ExecutionRoleArns': ["arn:aws:iam::emr-accountID:role/EMRServiceRole", 
                             "arn:aws:iam::emr-accountID:role/AnotherServiceRole"]
        }
        
    }
})
resp = client.describe_user_profile(DomainId="domainID", UserProfileName=user-profile-name")

resp['CreationTime'] = str(resp['CreationTime'])
resp['LastModifiedTime'] = str(resp['LastModifiedTime'])
print(json.dumps(resp, indent=2))
```

------
#### [ Preload runtime roles in Studio Classic ]

Berikan ARN of the `AccessRole` (`AssumableRole`) ke peran eksekusi SageMaker AI Anda. ARN dimuat oleh server Jupyter saat diluncurkan. *Peran eksekusi yang digunakan oleh Studio mengasumsikan peran lintas akun untuk menemukan dan terhubung ke klaster EMR Amazon di akun kepercayaan.*

Anda dapat menentukan informasi ini dengan menggunakan skrip Lifecycle Configuration (LCC). Anda dapat melampirkan LCC ke domain Anda atau profil pengguna tertentu. Skrip LCC yang Anda gunakan harus berupa JupyterServer konfigurasi. Untuk informasi selengkapnya tentang cara membuat skrip LCC, lihat [Menggunakan Konfigurasi Siklus Hidup](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html) dengan Studio Classic. 

Berikut ini adalah contoh skrip LCC. Untuk memodifikasi skrip, ganti `AssumableRole` dan `emr-account` dengan nilainya masing-masing. Jumlah akun silang dibatasi hingga lima.

Cuplikan berikut adalah contoh skrip bash LCC yang dapat Anda terapkan jika aplikasi dan klaster Studio Classic Anda berada di akun yang sama:

```
#!/bin/bash

set -eux

FILE_DIRECTORY="/home/sagemaker-user/.sagemaker-analytics-configuration-DO_NOT_DELETE"
FILE_NAME="emr-configurations-DO_NOT_DELETE.json"
FILE="$FILE_DIRECTORY/$FILE_NAME"

mkdir -p $FILE_DIRECTORY

cat << 'EOF' > "$FILE"
{
    "emr-execution-role-arns":
    {
      "123456789012": [
          "arn:aws:iam::123456789012:role/emr-execution-role-1",
          "arn:aws:iam::123456789012:role/emr-execution-role-2"
      ]
    }
}
EOF
```

Jika aplikasi dan klaster Studio Classic Anda berada di akun yang berbeda, tentukan peran akses EMR Amazon yang dapat menggunakan klaster. Dalam contoh kebijakan berikut, *123456789012* adalah ID akun cluster EMR Amazon, *dan 212121212121 *dan** 43434343434343 adalah untuk peran akses EMR Amazon yang diizinkan. ARNs 

```
#!/bin/bash

set -eux

FILE_DIRECTORY="/home/sagemaker-user/.sagemaker-analytics-configuration-DO_NOT_DELETE"
FILE_NAME="emr-configurations-DO_NOT_DELETE.json"
FILE="$FILE_DIRECTORY/$FILE_NAME"

mkdir -p $FILE_DIRECTORY

cat << 'EOF' > "$FILE"
{
    "emr-execution-role-arns":
    {
      "123456789012": [
          "arn:aws:iam::212121212121:role/emr-execution-role-1",
          "arn:aws:iam::434343434343:role/emr-execution-role-2"
      ]
    }
}
EOF

# add your cross-account EMR access role
FILE_DIRECTORY="/home/sagemaker-user/.cross-account-configuration-DO_NOT_DELETE"
FILE_NAME="emr-discovery-iam-role-arns-DO_NOT_DELETE.json"
FILE="$FILE_DIRECTORY/$FILE_NAME"

mkdir -p $FILE_DIRECTORY

cat << 'EOF' > "$FILE"
{
    "123456789012": "arn:aws:iam::123456789012:role/cross-account-emr-access-role"
}
EOF
```

------

# Kebijakan referensi
<a name="studio-set-up-emr-permissions-reference"></a>
+ **Daftar kebijakan EMR Amazon: Kebijakan** ini memungkinkan melakukan tindakan berikut:
  + `AllowPresignedUrl`memungkinkan pembuatan pra-ditandatangani URLs untuk mengakses UI Spark dari dalam Studio.
  + `AllowClusterDiscovery`dan `AllowClusterDetailsDiscovery` memungkinkan daftar dan mendeskripsikan kluster EMR Amazon di wilayah dan akun yang disediakan.

------
#### [ JSON ]

****  

  ```
  {
      "Version":"2012-10-17",		 	 	 
      "Statement": [
          {
              "Sid": "AllowPresignedUrl",
              "Effect": "Allow",
              "Action": [
                  "elasticmapreduce:CreatePersistentAppUI",
                  "elasticmapreduce:DescribePersistentAppUI",
                  "elasticmapreduce:GetPersistentAppUIPresignedURL",
                  "elasticmapreduce:GetOnClusterAppUIPresignedURL"
              ],
              "Resource": [
                  "arn:aws:elasticmapreduce:us-east-1:111122223333:cluster/*"
              ]
          },
          {
              "Sid": "AllowClusterDetailsDiscovery",
              "Effect": "Allow",
              "Action": [
                  "elasticmapreduce:DescribeCluster",
                  "elasticmapreduce:ListInstances",
                  "elasticmapreduce:ListInstanceGroups",
                  "elasticmapreduce:DescribeSecurityConfiguration"
              ],
              "Resource": [
                  "arn:aws:elasticmapreduce:us-east-1:111122223333:cluster/*"
              ]
          },
          {
              "Sid": "AllowClusterDiscovery",
              "Effect": "Allow",
              "Action": [
                  "elasticmapreduce:ListClusters"
              ],
              "Resource": "*"
          }
      ]
  }
  ```

------
+ **Membuat kebijakan klaster EMR Amazon: Kebijakan** ini memungkinkan melakukan tindakan berikut:
  + `AllowEMRTemplateDiscovery`memungkinkan pencarian template Amazon EMR di Service Catalog. Studio dan Studio Classic menggunakan ini untuk menampilkan template yang tersedia.
  + `AllowSagemakerProjectManagement`memungkinkan penciptaan[Apa itu Proyek SageMaker AI?](sagemaker-projects-whatis.md). Di Studio atau Studio Classic, akses ke AWS Service Catalog dikelola melalui[Apa itu Proyek SageMaker AI?](sagemaker-projects-whatis.md).

  Kebijakan IAM yang ditentukan dalam JSON yang disediakan memberikan izin tersebut. Ganti *region* dan *accountID* dengan nilai ID wilayah dan AWS akun Anda yang sebenarnya sebelum menyalin daftar pernyataan ke kebijakan inline peran Anda.

------
#### [ JSON ]

****  

  ```
  {
      "Version":"2012-10-17",		 	 	 
      "Statement": [
          {
              "Sid": "AllowEMRTemplateDiscovery",
              "Effect": "Allow",
              "Action": [
                  "servicecatalog:SearchProducts"
              ],
              "Resource": "*"
          },
          {
              "Sid": "AllowSagemakerProjectManagement",
              "Effect": "Allow",
              "Action": [
                  "sagemaker:CreateProject",
                  "sagemaker:DeleteProject"
              ],
              "Resource": "arn:aws:sagemaker:us-east-1:111122223333:project/*"
          }
      ]
  }
  ```

------
+ **Kebijakan tindakan pembaruan domain, profil pengguna, dan ruang: Kebijakan** berikut memberikan izin untuk memperbarui domain SageMaker AI, profil pengguna, dan spasi dalam wilayah dan akun yang ditentukan. AWS 

------
#### [ JSON ]

****  

  ```
  {
      "Version":"2012-10-17",		 	 	 
      "Statement": [
          {
              "Sid": "SageMakerUpdateResourcesPolicy",
              "Effect": "Allow",
              "Action": [
                  "sagemaker:UpdateDomain",
                  "sagemaker:UpdateUserprofile",
                  "sagemaker:UpdateSpace"
              ],
              "Resource": [
                  "arn:aws:sagemaker:us-east-1:111122223333:domain/*",
                  "arn:aws:sagemaker:us-east-1:111122223333:user-profile/*"
              ]
          }
      ]
  }
  ```

------

# Panduan pengguna
<a name="studio-emr-user-guide"></a>

Bagian ini mencakup cara ilmuwan data dan insinyur data dapat meluncurkan, menemukan, menghubungkan, atau menghentikan klaster EMR Amazon dari Studio atau Studio Classic.

Sebelum pengguna dapat membuat daftar atau meluncurkan cluster, administrator harus telah mengonfigurasi pengaturan yang diperlukan di lingkungan Studio. Untuk informasi tentang cara administrator dapat mengonfigurasi lingkungan Studio agar memungkinkan penyediaan mandiri dan pencantuman klaster EMR Amazon, lihat. [Panduan admin](studio-emr-admin-guide.md)

**Topics**
+ [Gambar dan kernel yang didukung untuk terhubung ke kluster EMR Amazon dari Studio atau Studio Classic](#studio-notebooks-emr-cluster-connect-kernels)
+ [Bawa gambar Anda sendiri](#studio-notebooks-emr-byoi)
+ [Luncurkan kluster EMR Amazon dari Studio atau Studio Classic](studio-notebooks-launch-emr-cluster-from-template.md)
+ [Daftar kluster EMR Amazon dari Studio atau Studio Classic](discover-emr-clusters.md)
+ [Connect ke kluster EMR Amazon dari SageMaker Studio atau Studio Classic](connect-emr-clusters.md)
+ [Mengakhiri klaster EMR Amazon dari Studio atau Studio Classic](terminate-emr-clusters.md)
+ [Akses Spark UI dari Studio atau Studio Classic](studio-notebooks-access-spark-ui.md)

## Gambar dan kernel yang didukung untuk terhubung ke kluster EMR Amazon dari Studio atau Studio Classic
<a name="studio-notebooks-emr-cluster-connect-kernels"></a>

[Gambar dan kernel berikut disertakan [sagemaker-studio-analytics-extension](https://pypi.org/project/sagemaker-studio-analytics-extension/), JupyterLab ekstensi yang terhubung ke cluster Spark jarak jauh (Amazon EMR) melalui [SparkMagic](https://github.com/jupyter-incubator/sparkmagic)perpustakaan menggunakan Apache Livy.](https://livy.apache.org/)
+ **Untuk pengguna Studio:** SageMaker Distribusi adalah lingkungan Docker untuk ilmu data yang digunakan sebagai gambar default instance JupyterLab notebook. Semua versi [Distribusi SageMaker AI](https://github.com/aws/sagemaker-distribution) dilengkapi dengan `sagemaker-studio-analytics-extension` pra-instal.
+ **Untuk pengguna Studio Classic:** Gambar-gambar berikut sudah diinstal sebelumnya dengan`sagemaker-studio-analytics-extension`:
  + DataScience — Kernel Python 3
  + DataScience 2.0 — Kernel Python 3
  + DataScience 3.0 — Kernel Python 3
  + SparkAnalytics 1.0 — SparkMagic dan PySpark kernel
  + SparkAnalytics 2.0 — SparkMagic dan PySpark kernel
  + SparkMagic — SparkMagic dan PySpark kernel
  + PyTorch 1.8 - Python 3 kernel
  + TensorFlow 2.6 — Kernel Python 3
  + TensorFlow 2.11 — Kernel Python 3

Untuk terhubung ke kluster EMR Amazon menggunakan gambar bawaan lain atau gambar Anda sendiri, ikuti instruksi di. [Bawa gambar Anda sendiri](#studio-notebooks-emr-byoi)

## Bawa gambar Anda sendiri
<a name="studio-notebooks-emr-byoi"></a>

Untuk membawa gambar Anda sendiri di Studio atau Studio Classic dan memungkinkan notebook Anda terhubung ke kluster EMR Amazon, instal ekstensi [sagemaker-studio-analytics-extension](https://pypi.org/project/sagemaker-studio-analytics-extension/)berikut ke kernel Anda. Ini mendukung menghubungkan notebook SageMaker Studio atau Studio Classic ke cluster Spark (Amazon EMR) melalui perpustakaan. [SparkMagic](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio-magics.html)

```
pip install sparkmagic
pip install sagemaker-studio-sparkmagic-lib
pip install sagemaker-studio-analytics-extension
```

Selain itu, untuk terhubung ke Amazon EMR dengan otentikasi [Kerberos](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-kerberos.html), Anda harus menginstal klien kinit. Tergantung pada OS Anda, perintah untuk menginstal klien kinit dapat bervariasi. Untuk membawa gambar Ubuntu (berbasis Debian), gunakan `apt-get install -y -qq krb5-user` perintah.

Untuk informasi selengkapnya tentang membawa gambar Anda sendiri di SageMaker Studio atau Studio Classic, lihat [Membawa SageMaker gambar Anda sendiri](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-byoi.html).

# Luncurkan kluster EMR Amazon dari Studio atau Studio Classic
<a name="studio-notebooks-launch-emr-cluster-from-template"></a>

Ilmuwan data dan insinyur data dapat menyediakan sendiri klaster EMR Amazon dari Studio atau Studio Classic CloudFormation menggunakan templat yang disiapkan oleh administrator mereka. Sebelum pengguna dapat meluncurkan klaster, administrator harus telah mengonfigurasi pengaturan yang diperlukan di lingkungan Studio. Untuk informasi tentang cara administrator dapat mengonfigurasi lingkungan Studio agar memungkinkan kluster EMR Amazon yang menyediakan sendiri, lihat. [Konfigurasikan CloudFormation template Amazon EMR di Service Catalog](studio-notebooks-set-up-emr-templates.md)

Untuk menyediakan kluster EMR Amazon baru dari Studio atau Studio Classic:

1. Di panel sisi kiri Studio atau Studio Classic UI, pilih simpul **Data** di menu navigasi kiri. Arahkan ke **Cluster EMR Amazon**. Ini membuka halaman yang mencantumkan kluster EMR Amazon yang dapat Anda akses dari Studio atau Studio Classic.

1. Pilih tombol **Create** di pojok kanan atas. Ini membuka modal baru yang mencantumkan template cluster yang tersedia untuk Anda.

1. Pilih template cluster dengan memilih nama template dan kemudian pilih **Berikutnya**.

1. Masukkan detail klaster, seperti nama cluster dan parameter tertentu yang dapat dikonfigurasi yang ditetapkan oleh administrator Anda, lalu pilih **Buat klaster**. Pembuatan cluster mungkin memakan waktu beberapa menit.  
![\[Bentuk pembuatan cluster EMR Amazon dari Studio atau Studio Classic.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/emr/studio-notebooks-emr-cluster-creation.png)

Setelah klaster disediakan, Studio atau Studio Classic UI menampilkan pesan *Kluster telah berhasil dibuat*.

Untuk terhubung ke klaster Anda, lihat [Connect ke kluster EMR Amazon dari SageMaker Studio atau Studio Classic](connect-emr-clusters.md)

# Daftar kluster EMR Amazon dari Studio atau Studio Classic
<a name="discover-emr-clusters"></a>

Ilmuwan data dan insinyur data dapat menemukan, dan kemudian terhubung ke kluster EMR Amazon dari Studio. Cluster EMR Amazon mungkin berada di AWS akun yang sama dengan Studio atau di akun yang berbeda. AWS 

Sebelum pengguna dapat membuat daftar atau terhubung ke cluster, administrator harus telah mengonfigurasi pengaturan yang diperlukan di lingkungan Studio. Untuk informasi tentang cara administrator dapat mengonfigurasi lingkungan Studio agar memungkinkan menemukan klaster EMR Amazon yang sedang berjalan, lihat. [Panduan admin](studio-emr-admin-guide.md) Jika administrator [mengonfigurasi penemuan lintas akun kluster EMR Amazon](studio-notebooks-configure-discoverability-emr-cluster.md), Anda dapat melihat daftar klaster terkonsolidasi. Daftar ini mencakup cluster dari AWS akun yang digunakan oleh Studio serta cluster dari akun jarak jauh yang telah diberikan akses kepada Anda.

Untuk melihat daftar kluster EMR Amazon yang tersedia dari dalam Studio:

1. Di menu navigasi kiri UI Studio, gulir ke bawah ke Cluster **EMR**. Ini membuka halaman yang mencantumkan kluster EMR Amazon yang dapat Anda akses.

   ****Daftar ini menampilkan cluster dalam tahapan berikut: **Bootstrapping**, **Starting** Running, Waiting.**** Anda dapat mempersempit cluster yang ditampilkan berdasarkan statusnya saat ini menggunakan ikon filter. 

1. Pilih cluster **Running** tertentu yang ingin Anda sambungkan, lalu lihat[Connect ke kluster EMR Amazon dari SageMaker Studio atau Studio Classic](connect-emr-clusters.md).

# Connect ke kluster EMR Amazon dari SageMaker Studio atau Studio Classic
<a name="connect-emr-clusters"></a>

Ilmuwan data dan insinyur data dapat menemukan dan kemudian terhubung ke cluster EMR Amazon langsung dari antarmuka pengguna Studio. Sebelum memulai, pastikan bahwa Anda telah mengonfigurasi izin yang diperlukan seperti yang dijelaskan di [Langkah 4: Siapkan izin untuk mengaktifkan daftar dan meluncurkan kluster EMR Amazon dari Studio](studio-notebooks-set-up-emr-templates.md#studio-emr-permissions) bagian. Izin ini memberi Studio kemampuan untuk membuat, memulai, melihat, mengakses, dan menghentikan cluster.

Anda dapat menghubungkan kluster EMR Amazon ke JupyterLab notebook baru langsung dari UI Studio, atau memilih untuk memulai koneksi di buku catatan aplikasi yang sedang berjalan. JupyterLab 

**penting**  
Anda hanya dapat menemukan dan terhubung ke cluster EMR Amazon untuk JupyterLab dan aplikasi Studio Classic yang diluncurkan dari ruang pribadi. Pastikan bahwa kluster EMR Amazon berada di AWS wilayah yang sama dengan lingkungan Studio Anda. JupyterLab Ruang Anda harus menggunakan versi gambar SageMaker Distribusi `1.10` atau lebih tinggi.

## Connect ke kluster EMR Amazon menggunakan UI Studio
<a name="connect-emr-clusters-ui-options"></a>

Untuk menyambung ke klaster menggunakan UI Studio atau Studio Classic, Anda dapat memulai koneksi dari daftar kluster yang diakses[Daftar kluster EMR Amazon dari Studio atau Studio Classic](discover-emr-clusters.md), atau dari buku catatan di SageMaker Studio atau Studio Classic.

**Untuk menghubungkan kluster EMR Amazon ke JupyterLab notebook baru dari UI Studio:**

1. Di panel sisi kiri Studio UI, pilih simpul **Data** di menu navigasi kiri. Arahkan ke **aplikasi dan cluster Amazon EMR**. Ini membuka halaman yang mencantumkan kluster EMR Amazon yang dapat Anda akses dari Studio di tab kluster **EMR** Amazon.
**catatan**  
Jika Anda atau administrator telah mengonfigurasi izin untuk mengizinkan akses lintas akun ke kluster EMR Amazon, Anda dapat melihat daftar cluster gabungan di semua akun yang telah Anda berikan akses ke Studio.

1. Pilih klaster EMR Amazon yang ingin Anda sambungkan ke notebook baru, lalu pilih **Lampirkan ke** notebook. Ini membuka jendela modal yang menampilkan daftar JupyterLab spasi Anda.

1. 
   + Pilih ruang dari mana Anda ingin meluncurkan JupyterLab aplikasi, dan kemudian pilih **Buka notebook**. Ini meluncurkan JupyterLab aplikasi dari ruang yang Anda pilih dan membuka notebook baru.
**catatan**  
Pengguna Studio Classic perlu memilih gambar dan kernel. Untuk daftar gambar yang didukung, lihat [Gambar dan kernel yang didukung untuk terhubung ke kluster EMR Amazon dari Studio atau Studio Classic](studio-emr-user-guide.md#studio-notebooks-emr-cluster-connect-kernels) atau lihat[Bawa gambar Anda sendiri](studio-emr-user-guide.md#studio-notebooks-emr-byoi).
   + Atau, Anda dapat membuat ruang pribadi baru dengan memilih tombol **Buat ruang baru** di bagian atas jendela modal. Masukkan nama untuk ruang Anda dan kemudian pilih **Buat ruang dan buka buku catatan**. Ini menciptakan ruang pribadi dengan jenis instans default dan gambar SageMaker distribusi terbaru yang tersedia, meluncurkan JupyterLab aplikasi, dan membuka buku catatan baru.

1. Jika klaster yang Anda pilih tidak menggunakan otentikasi [peran Kerberos, LDAP, atau runtime](), Studio akan meminta Anda untuk memilih jenis kredensialnya. Pilih dari **otentikasi dasar Http** atau **No credentials**, lalu masukkan kredensialnya, jika berlaku.

   Jika klaster yang Anda pilih mendukung peran runtime, pilih nama peran IAM yang dapat diasumsikan oleh klaster EMR Amazon Anda untuk menjalankan pekerjaan. 
**penting**  
Agar berhasil menghubungkan JupyterLab notebook ke klaster EMR Amazon yang mendukung peran runtime, Anda harus terlebih dahulu mengaitkan daftar peran runtime dengan domain atau profil pengguna, seperti yang diuraikan dalam. [Konfigurasikan peran runtime IAM untuk akses kluster Amazon EMR di Studio](studio-notebooks-emr-cluster-rbac.md) Gagal menyelesaikan langkah ini akan mencegah Anda membuat koneksi. 

   Setelah dipilih, perintah koneksi mengisi sel pertama notebook Anda dan memulai koneksi dengan cluster EMR Amazon.

   Setelah koneksi berhasil, sebuah pesan mengkonfirmasi koneksi dan dimulainya aplikasi Spark.

**Atau, Anda dapat terhubung ke cluster dari notebook JupyterLab atau Studio Classic.**

1. Pilih tombol **Cluster** di bagian atas notebook Anda. Ini membuka jendela modal yang mencantumkan kluster EMR Amazon dalam `Running` keadaan yang dapat Anda akses. Anda dapat melihat kluster EMR `Running` Amazon di tab kluster **EMR** Amazon.
**catatan**  
Untuk pengguna Studio Classic, **Cluster** hanya terlihat ketika Anda menggunakan kernel dari [Gambar dan kernel yang didukung untuk terhubung ke kluster EMR Amazon dari Studio atau Studio Classic](studio-emr-user-guide.md#studio-notebooks-emr-cluster-connect-kernels) atau dari[Bawa gambar Anda sendiri](studio-emr-user-guide.md#studio-notebooks-emr-byoi). Jika Anda tidak dapat melihat **Cluster** di bagian atas buku catatan Anda, pastikan administrator Anda telah [mengonfigurasi kemampuan untuk dapat ditemukan klaster Anda](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-notebooks-configure-discoverability-emr-cluster.html) dan beralih ke kernel yang didukung.

1. Pilih cluster yang ingin Anda sambungkan, lalu pilih **Connect**.

1. Jika Anda mengonfigurasi kluster EMR Amazon untuk mendukung peran [IAM runtime, Anda dapat memilih peran](studio-notebooks-emr-cluster-rbac.md) Anda dari menu tarik-turun peran eksekusi **EMR** Amazon. 
**penting**  
Agar berhasil menghubungkan JupyterLab notebook ke klaster EMR Amazon yang mendukung peran runtime, Anda harus terlebih dahulu mengaitkan daftar peran runtime dengan domain atau profil pengguna, seperti yang diuraikan dalam. [Konfigurasikan peran runtime IAM untuk akses kluster Amazon EMR di Studio](studio-notebooks-emr-cluster-rbac.md) Gagal menyelesaikan langkah ini akan mencegah Anda membuat koneksi. 

   Jika tidak, jika cluster yang Anda pilih tidak menggunakan Kerberos, LDAP, atau otentikasi peran runtime, Studio atau Studio Classic meminta Anda untuk memilih jenis kredensialnya. Anda dapat memilih **otentikasi dasar HTTP** atau **No credential**.

1. Studio menambahkan dan kemudian menjalankan blok kode ke sel aktif untuk membuat koneksi. Sel ini berisi perintah ajaib koneksi untuk menghubungkan notebook Anda ke aplikasi Anda sesuai dengan jenis otentikasi Anda.

   Setelah koneksi berhasil, sebuah pesan mengkonfirmasi koneksi dan dimulainya aplikasi Spark.

## Sambungkan ke kluster EMR Amazon menggunakan perintah koneksi
<a name="connect-emr-clusters-manually"></a>

Untuk membuat koneksi ke kluster EMR Amazon, Anda dapat menjalankan perintah koneksi dalam sel notebook.

Saat membuat koneksi, Anda dapat mengautentikasi menggunakan [Kerberos](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-kerberos.html), [Protokol Akses Direktori Ringan (LDAP)](https://docs.aws.amazon.com/), atau otentikasi peran IAM [runtime](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-notebooks-emr-cluster-rbac.html). Metode otentikasi yang Anda pilih bergantung pada konfigurasi cluster Anda. 

Anda dapat merujuk ke contoh ini [Akses Apache Livy menggunakan Network Load Balancer pada kluster Amazon EMR berkemampuan KerberOS untuk menyiapkan kluster EMR Amazon](https://aws.amazon.com/blogs/big-data/access-apache-livy-using-a-network-load-balancer-on-a-kerberos-enabled-amazon-emr-cluster/) yang menggunakan otentikasi Kerberos. [Atau, Anda dapat menjelajahi CloudFormation contoh templat menggunakan otentikasi Kerberos atau LDAP di aws-samples/repositori. sagemaker-studio-emr](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/getting_started) GitHub 

Jika administrator telah mengaktifkan akses lintas akun, Anda dapat menyambung ke klaster EMR Amazon dari notebook Studio Classic, terlepas dari apakah aplikasi dan klaster Studio Classic berada di akun AWS yang sama atau akun yang berbeda.

Untuk setiap jenis autentikasi berikut, gunakan perintah yang ditentukan untuk menyambung ke klaster Anda dari notebook Studio atau Studio Classic Anda.
+ **Kerberos**

  Tambahkan `--assumable-role-arn` argumen jika Anda memerlukan akses EMR Amazon lintas akun. Tambahkan `--verify-certificate` argumen jika Anda terhubung ke cluster Anda dengan HTTPS.

  ```
  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Kerberos --language python 
  [--assumable-role-arn EMR_access_role_ARN ] 
  [--verify-certificate /home/user/certificateKey.pem]
  ```
+ **LDAP**

  Tambahkan `--assumable-role-arn` argumen jika Anda memerlukan akses EMR Amazon lintas akun. Tambahkan `--verify-certificate` argumen jika Anda terhubung ke cluster Anda dengan HTTPS.

  ```
  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access --language python 
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]
  ```
+ **NoAuth**

  Tambahkan `--assumable-role-arn` argumen jika Anda memerlukan akses EMR Amazon lintas akun. Tambahkan `--verify-certificate` argumen jika Anda terhubung ke cluster Anda dengan HTTPS.

  ```
  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type None --language python
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]
  ```
+ **Peran IAM runtime**

  Tambahkan `--assumable-role-arn` argumen jika Anda memerlukan akses EMR Amazon lintas akun. Tambahkan `--verify-certificate` argumen jika Anda terhubung ke cluster Anda dengan HTTPS. 

  Untuk informasi selengkapnya tentang menghubungkan ke klaster EMR Amazon menggunakan peran IAM runtime, lihat. [Konfigurasikan peran runtime IAM untuk akses kluster Amazon EMR di Studio](studio-notebooks-emr-cluster-rbac.md)

  ```
  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access \
  --emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name
  [--assumable-role-arn EMR_access_role_ARN]
  [--verify-certificate /home/user/certificateKey.pem]
  ```

## Connect ke kluster EMR Amazon melalui HTTPS
<a name="connect-emr-clusters-ssl"></a>

Jika Anda telah mengonfigurasi klaster EMR Amazon Anda dengan enkripsi transit diaktifkan dan server Apache Livy untuk HTTPS dan ingin Studio atau Studio Classic berkomunikasi dengan Amazon EMR menggunakan HTTPS, Anda perlu mengonfigurasi Studio atau Studio Classic untuk mengakses kunci sertifikat Anda.

Untuk sertifikat yang ditandatangani sendiri atau ditandatangani oleh Otoritas Sertifikat lokal (CA), Anda dapat melakukannya dalam dua langkah:

1. Unduh file PEM sertifikat Anda ke sistem file lokal Anda menggunakan salah satu opsi berikut:
   + Fungsi unggah file bawaan Jupyter.
   + Sebuah sel notebook.
   + (Hanya untuk pengguna Studio Classic) Skrip konfigurasi siklus hidup (LCC).

     Untuk informasi tentang cara menggunakan skrip LCC, lihat [Menyesuaikan Instans Notebook Menggunakan Skrip Konfigurasi Siklus Hidup](https://docs.aws.amazon.com/sagemaker/latest/dg/notebook-lifecycle-config.html)

1. Aktifkan validasi sertifikat dengan memberikan jalur ke sertifikat Anda dalam `--verify-certificate` argumen perintah koneksi Anda.

   ```
   %sm_analytics emr connect --cluster-id cluster_id \
   --verify-certificate /home/user/certificateKey.pem ...
   ```

Untuk sertifikat yang diterbitkan CA publik, tetapkan validasi sertifikat dengan menetapkan `--verify-certificate` parameter sebagai`true`.

Atau, Anda dapat menonaktifkan validasi sertifikat dengan menetapkan `--verify-certificate` parameter sebagai`false`.

Anda dapat menemukan daftar perintah koneksi yang tersedia ke cluster EMR Amazon di. [Sambungkan ke kluster EMR Amazon menggunakan perintah koneksi](#connect-emr-clusters-manually)

# Mengakhiri klaster EMR Amazon dari Studio atau Studio Classic
<a name="terminate-emr-clusters"></a>

Prosedur berikut menunjukkan cara menghentikan klaster EMR Amazon dari notebook Studio atau Studio Classic.

**Untuk mengakhiri klaster dalam `Running` status, navigasikan ke daftar kluster EMR Amazon yang tersedia.**

1. Di UI Studio, gulir ke bawah ke node **Data** di menu navigasi kiri.

1. Arahkan ke simpul **EMR Clusters**. Ini membuka halaman yang mencantumkan kluster EMR Amazon yang dapat Anda akses.

1. Pilih nama cluster yang ingin Anda akhiri, lalu pilih **Terminate**.

1. Ini membuka jendela konfirmasi yang memberi tahu Anda bahwa pekerjaan atau data yang tertunda di klaster Anda akan hilang secara permanen setelah penghentian. Konfirmasikan dengan memilih **Hentikan** lagi.

# Akses Spark UI dari Studio atau Studio Classic
<a name="studio-notebooks-access-spark-ui"></a>

Bagian berikut memberikan instruksi untuk mengakses Spark UI dari notebook SageMaker AI Studio atau Studio Classic. UI Spark memungkinkan Anda memantau dan men-debug Pekerjaan Spark yang dikirimkan untuk berjalan di Amazon EMR dari notebook Studio atau Studio Classic. Tunneling SSH dan presigned URLs adalah dua cara untuk mengakses UI Spark.

## Siapkan tunneling SSH untuk akses Spark UI
<a name="studio-notebooks-emr-ssh-tunneling"></a>

Untuk mengatur tunneling SSH untuk mengakses UI Spark, ikuti salah satu dari dua opsi di bagian ini.

Opsi untuk mengatur terowongan SSH:
+ [Opsi 1: Siapkan terowongan SSH ke node master menggunakan penerusan port lokal](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel-local.html)
+ [Opsi 2, bagian 1: Siapkan terowongan SSH ke master node menggunakan penerusan port dinamis](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel.html)

  [Opsi 2, bagian 2: Konfigurasikan pengaturan proxy untuk melihat situs web yang dihosting di master node](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-proxy.html)

Untuk informasi tentang melihat antarmuka web yang dihosting di kluster EMR Amazon, [lihat Melihat antarmuka web yang dihosting di Cluster EMR Amazon](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html). Anda juga dapat mengunjungi konsol EMR Amazon Anda untuk mendapatkan akses ke UI Spark.

**catatan**  
Anda dapat mengatur terowongan SSH meskipun presigned tidak URLs tersedia untuk Anda. 

## Ditandatangani URLs
<a name="studio-notebooks-emr-spark-ui-presigned-urls"></a>

Untuk membuat satu klik URLs yang dapat mengakses Spark UI di Amazon EMR dari notebook SageMaker Studio atau Studio Classic, Anda harus mengaktifkan izin IAM berikut. Pilih opsi yang berlaku untuk Anda: 
+ **Untuk klaster EMR Amazon yang berada di akun yang sama dengan notebook SageMaker Studio atau Studio Classic: Tambahkan izin berikut ke peran eksekusi IAM SageMaker Studio atau Studio Classic.**
+ **Untuk klaster EMR Amazon yang berada di akun berbeda (bukan notebook SageMaker Studio atau Studio Classic): Tambahkan izin berikut ke peran lintas akun yang Anda buat. [Daftar kluster EMR Amazon dari Studio atau Studio Classic](discover-emr-clusters.md)**

**catatan**  
Anda dapat mengakses presigned URLs dari konsol di wilayah berikut:  
Wilayah AS Timur (Virginia Utara)
Wilayah AS Barat (California Utara)
Wilayah Kanada (Pusat)
Wilayah Eropa (Frankfurt)
Wilayah Eropa (Stockholm)
Wilayah Eropa (Irlandia)
Wilayah Eropa (London)
Wilayah Eropa (Paris)
Wilayah Asia Pacific (Tokyo) 
Wilayah Asia Pasifik (Seoul)
Wilayah Asia Pasifik (Sydney)
Wilayah Asia Pasifik (Mumbai)
Wilayah Asia Pasifik (Singapura)
Amerika Selatan (Sao Paulo)

 Kebijakan berikut memberikan akses ke presigned URLs untuk peran eksekusi Anda. 

```
{
        "Sid": "AllowPresignedUrl",
        "Effect": "Allow",
        "Action": [
            "elasticmapreduce:DescribeCluster",
            "elasticmapreduce:ListInstanceGroups",
            "elasticmapreduce:CreatePersistentAppUI",
            "elasticmapreduce:DescribePersistentAppUI",
            "elasticmapreduce:GetPersistentAppUIPresignedURL",
            "elasticmapreduce:GetOnClusterAppUIPresignedURL"
        ],
        "Resource": [
            "arn:aws:elasticmapreduce:region:account-id:cluster/*"
        ]
}
```

# Blog dan whitepaper
<a name="studio-notebooks-emr-resources"></a>

Blog berikut menggunakan studi kasus prediksi sentimen untuk tinjauan film untuk menggambarkan proses pelaksanaan alur kerja pembelajaran mesin yang lengkap. Ini termasuk persiapan data, pemantauan pekerjaan Spark, dan pelatihan serta penerapan model ML untuk mendapatkan prediksi langsung dari notebook Studio atau Studio Classic Anda.
+ [Buat dan kelola kluster EMR Amazon dari SageMaker Studio atau Studio Classic untuk menjalankan beban kerja Spark dan ML interaktif](https://aws.amazon.com/blogs/machine-learning/part-1-create-and-manage-amazon-emr-clusters-from-sagemaker-studio-to-run-interactive-spark-and-ml-workloads/).
+ Untuk memperluas kasus penggunaan ke konfigurasi lintas akun di mana SageMaker Studio atau Studio Classic dan klaster EMR Amazon Anda digunakan di akun AWS terpisah, [lihat Membuat dan mengelola klaster EMR Amazon SageMaker dari Studio atau Studio Classic untuk menjalankan beban kerja Spark dan ML interaktif](https://aws.amazon.com/blogs/machine-learning/part-2-create-and-manage-amazon-emr-clusters-from-sagemaker-studio-to-run-interactive-spark-and-ml-workloads/) - Bagian 2.

Lihat juga: 
+ Panduan konfigurasi [Access Apache Livy menggunakan Network Load Balancer pada kluster Amazon EMR berkemampuan KerberOS](https://aws.amazon.com/blogs/big-data/access-apache-livy-using-a-network-load-balancer-on-a-kerberos-enabled-amazon-emr-cluster/).
+ AWS whitepaper untuk praktik [terbaik SageMaker Studio atau Studio Classic](https://docs.aws.amazon.com/whitepapers/latest/sagemaker-studio-admin-best-practices/sagemaker-studio-admin-best-practices.html).

# Pemecahan masalah
<a name="studio-notebooks-emr-troubleshooting"></a>

Saat bekerja dengan kluster EMR Amazon dari notebook Studio atau Studio Classic, Anda mungkin mengalami berbagai masalah atau tantangan potensial selama proses koneksi atau penggunaan. Untuk membantu Anda memecahkan masalah dan mengatasi kesalahan ini, bagian ini memberikan panduan tentang masalah umum yang dapat muncul. 

Berikut ini adalah kesalahan umum yang mungkin terjadi saat menghubungkan atau menggunakan kluster EMR Amazon dari notebook Studio atau Studio Classic.

## Memecahkan masalah koneksi Livy yang macet atau gagal
<a name="studio-notebooks-emr-troubleshooting.memoryerror"></a>

Berikut ini adalah masalah konektivitas Livy yang mungkin terjadi saat menggunakan kluster EMR Amazon dari notebook Studio atau Studio Classic.
+ **Kluster EMR Amazon Anda mengalami kesalahan out-of-memory.**

  Alasan yang mungkin untuk koneksi Livy melalui `sparkmagic` hang atau kegagalan adalah jika kluster EMR Amazon Anda mengalami kesalahan. out-of-memory 

  Secara default, parameter konfigurasi Java dari driver Apache Spark,`spark.driver.defaultJavaOptions`, diatur ke. `-XX:OnOutOfMemoryError='kill -9 %p'` Ini berarti bahwa tindakan default yang diambil ketika program driver bertemu `OutOfMemoryError` adalah untuk menghentikan program driver dengan mengirimkan sinyal SIGKILL. Ketika driver Apache Spark dihentikan, koneksi Livy apa pun melalui `sparkmagic` itu tergantung pada driver tersebut hang atau gagal. Ini karena driver Spark bertanggung jawab untuk mengelola sumber daya aplikasi Spark, termasuk penjadwalan tugas dan eksekusi. Tanpa driver, aplikasi Spark tidak dapat berfungsi, dan setiap upaya untuk berinteraksi dengannya gagal.

  Jika Anda mencurigai klaster Spark Anda mengalami masalah memori, Anda dapat memeriksa log [EMR Amazon](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-manage-view-web-log-files.html). Kontainer mati karena out-of-memory kesalahan biasanya keluar dengan kode`137`. Dalam kasus seperti itu, Anda perlu me-restart aplikasi Spark dan membuat koneksi Livy baru untuk melanjutkan interaksi dengan cluster Spark.

  Anda dapat merujuk ke artikel basis pengetahuan [Bagaimana cara mengatasi kesalahan “Wadah yang dibunuh oleh YARN karena melebihi batas memori” di Spark on Amazon EMR](https://repost.aws/knowledge-center/emr-spark-yarn-memory-limit)? AWS re:Post untuk mempelajari berbagai strategi dan parameter yang dapat digunakan untuk mengatasi suatu out-of-memory masalah.

  Sebaiknya tinjau Panduan Praktik Terbaik [EMR Amazon untuk praktik terbaik](https://aws.github.io/aws-emr-best-practices/) dan panduan penyetelan dalam menjalankan beban kerja Apache Spark di kluster EMR Amazon Anda.
+ **Waktu sesi Livy Anda habis saat menghubungkan ke cluster EMR Amazon untuk pertama kalinya.**

  Saat Anda awalnya terhubung ke kluster EMR Amazon menggunakan [sagemaker-studio-analytics-extension](https://pypi.org/project/sagemaker-studio-analytics-extension/), yang memungkinkan koneksi ke cluster Spark (Amazon EMR) jarak jauh melalui [SparkMagic](https://github.com/jupyter-incubator/sparkmagic)pustaka menggunakan [Apache Livy](https://livy.apache.org/), Anda mungkin mengalami kesalahan batas waktu koneksi:

  `An error was encountered: Session 0 did not start up in 60 seconds.`

  Jika klaster EMR Amazon Anda memerlukan inisialisasi aplikasi Spark saat membuat koneksi, ada kemungkinan lebih besar untuk melihat kesalahan batas waktu koneksi.

  Untuk mengurangi kemungkinan mendapatkan batas waktu saat menghubungkan ke kluster EMR Amazon menggunakan Livy melalui ekstensi analitik`sagemaker-studio-analytics-extension`, `0.0.19` versi dan yang lebih baru mengganti batas waktu sesi server default `120` ke detik, bukan `sparkmagic` default detik. `60`

  Kami merekomendasikan untuk memutakhirkan ekstensi Anda `0.0.18` dan lebih cepat dengan menjalankan perintah pemutakhiran berikut.

  ```
  pip install --upgrade sagemaker-studio-analytics-extension
  ```

  Perhatikan bahwa saat menyediakan konfigurasi batas waktu khusus di`sparkmagic`, `sagemaker-studio-analytics-extension` menghormati penggantian ini. Namun, menyetel batas waktu sesi ke `60` detik secara otomatis memicu batas waktu sesi server default dalam hitungan detik. `120` `sagemaker-studio-analytics-extension`