Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Mengkonfigurasi sesi AWS Glue interaktif untuk Jupyter dan notebook AWS Glue Studio ## Pengantar Jupyter Magics Jupyter Magics adalah perintah yang dapat dijalankan di awal sel atau sebagai seluruh badan sel. Sihir dimulai dengan `%` untuk sihir garis dan untuk sihir sel. `%%` Line-magics seperti `%region` dan `%connections` dapat dijalankan dengan beberapa sihir dalam sel, atau dengan kode yang disertakan dalam badan sel seperti contoh berikut. ``` %region us-east-2 %connections my_rds_connection dy_f = glue_context.create_dynamic_frame.from_catalog(database='rds_tables', table_name='sales_table') ``` Sihir sel harus menggunakan seluruh sel dan dapat memiliki rentang perintah beberapa baris. Contoh di bawah `%%sql` ini. ``` %%sql select * from rds_tables.sales_table ``` ## Sihir didukung oleh sesi AWS Glue interaktif untuk Jupyter Berikut ini adalah sihir yang dapat Anda gunakan dengan sesi AWS Glue interaktif untuk notebook Jupyter. **Sesi sihir** | Nama | Tipe | Deskripsi | | --- | --- | --- | | %help | T/A | Kembalikan daftar deskripsi dan jenis input untuk semua perintah ajaib. | | %profile | String | Tentukan profil dalam AWS konfigurasi Anda untuk digunakan sebagai penyedia kredensyal. | | %region | String | Tentukan Wilayah AWS; di mana untuk menginisialisasi sesi. Default dari `~/.aws/configure.` Contoh: `%region us-west-1` | | %idle\$1timeout | Int | Jumlah menit tidak aktif setelah sesi akan batas waktu setelah sel dieksekusi. Nilai batas waktu idle default untuk sesi Spark ETL adalah batas waktu default, 2880 menit (48 jam). Untuk jenis sesi lainnya, lihat dokumentasi untuk jenis sesi tersebut. Contoh: `%idle_timeout 3000` | | %session\$1id | T/A | Kembalikan ID sesi untuk sesi yang sedang berjalan. | | %session\$1id\$1prefix | String | Tentukan string yang akan mendahului semua sesi IDs dalam format **[session\$1id\$1prefix] - [session\$1id**]. Jika ID sesi tidak disediakan, UUID acak akan dihasilkan. Keajaiban ini tidak didukung saat Anda menjalankan Notebook Jupyter di. AWS Glue Studio Contoh: `%session_id_prefix 001` | | %status | | Mengembalikan status AWS Glue sesi saat ini termasuk durasi, konfigurasi dan mengeksekusi pengguna/peran. | | %stop\$1session | | Hentikan sesi saat ini. | | %list\$1sessions | | Daftar semua sesi yang sedang berjalan berdasarkan nama dan ID. | | %session\$1type | String | Menetapkan jenis sesi ke salah satu Streaming, ETL, atau Ray. Contoh: `%session_type Streaming` | | %glue\$1version | String | Versi yang AWS Glue akan digunakan oleh sesi ini. Contoh: `%glue_version 3.0` | **Sihir untuk memilih jenis pekerjaan** | Nama | Tipe | Deskripsi | | --- | --- | --- | | %streaming | String | Mengubah jenis sesi ke AWS Glue Streaming. | | %etl | String | Mengubah jenis sesi ke AWS Glue ETL. | | %glue\$1ray | String | Mengubah jenis sesi menjadi AWS Glue untuk Ray. Lihat [Magics didukung oleh sesi interaktif AWS Glue Ray](https://docs.aws.amazon.com/glue/latest/dg/is-using-ray-configuration). | **AWS Glueuntuk sihir konfigurasi Spark** `%%configure`Keajaiban adalah kamus berformat json yang terdiri dari semua parameter konfigurasi untuk sesi. Setiap parameter dapat ditentukan di sini atau melalui sihir individu. | Nama | Tipe | Deskripsi | | --- | --- | --- | | %%configure | Kamus | Tentukan kamus berformat JSON yang terdiri dari semua parameter konfigurasi untuk sesi. Setiap parameter dapat ditentukan di sini atau melalui sihir individu. Untuk daftar parameter dan contoh tentang cara menggunakan`%%configure`, lihat[%%konfigurasi argumen sihir sel](#interactive-sessions-magics-configure-arguments). | | %iam\$1role | String | Tentukan peran IAM ARN untuk menjalankan sesi Anda. Default dari \$1/.aws/configure. Contoh: `%iam_role AWSGlueServiceRole` | | %number\$1of\$1workers | Int | Jumlah pekerja dari worker\$1type yang ditentukan yang dialokasikan saat pekerjaan berjalan. `worker_type`harus diatur juga. `number_of_workers`Defaultnya adalah 5. Contoh: `%number_of_workers 2` | | %additional\$1python\$1modules | Daftar | Daftar modul Python tambahan yang dipisahkan koma untuk disertakan dalam cluster Anda (bisa dari PyPI atau S3). Contoh:`%additional_python_modules pandas, numpy`. | | %%tags | String | Menambahkan tag ke sesi. Tentukan tag dalam kurung kurawal \$1\$1. Setiap pasangan nama tag diapit dalam tanda kurung (“”) dan dipisahkan dengan koma (,). 
%%tags
{"billing":"Data-Platform", "team":"analytics"}
Gunakan `%status` sihir untuk melihat tag yang terkait dengan sesi. 
%status
Session ID: 
 Status: READY
 Role: 
 CreatedOn: 2023-05-26 11:12:17.056000-07:00
 GlueVersion: 3.0
 Job Type: glueetl
 Tags: {'owner':'example-owner', 'team':'analytics', 'billing':'Data-Platform'}
 Worker Type: G.4X
 Number of Workers: 5
 Region: us-west-2
 Applying the following default arguments:
 --glue_kernel_version 0.38.0
 --enable-glue-datacatalog true
 Arguments Passed: ['--glue_kernel_version: 0.38.0', '--enable-glue-datacatalog: true']
| | %%assume\$1role | Kamus | Tentukan kamus berformat json atau string ARN peran IAM untuk membuat sesi untuk akses lintas akun. Contoh dengan ARN: 
%%assume_role
{
  'arn:aws:iam::XXXXXXXXXXXX:role/AWSGlueServiceRole'
}
Contoh dengan kredensyal: 
 %%assume_role
{{
    "aws_access_key_id" = "XXXXXXXXXXXX",
    "aws_secret_access_key" = "XXXXXXXXXXXX",
    "aws_session_token" = "XXXXXXXXXXXX"
}}
| ### %%konfigurasi argumen sihir sel `%%configure`Keajaiban adalah kamus berformat json yang terdiri dari semua parameter konfigurasi untuk sesi. Setiap parameter dapat ditentukan di sini atau melalui sihir individu. Lihat di bawah untuk contoh argumen yang didukung oleh sihir `%%configure` sel. Gunakan `--` awalan untuk menjalankan argumen yang ditentukan untuk pekerjaan tersebut. Contoh: ``` %%configure { "--user-jars-first": "true", "--enable-glue-datacatalog": "false" } ``` Untuk informasi selengkapnya tentang parameter pekerjaan, lihat[Parameter Tugas](aws-glue-programming-etl-glue-arguments.md). **Konfigurasi Sesi** | Parameter | Jenis | Deskripsi | | --- | --- | --- | | max\$1retries | Int | Jumlah waktu maksimum berapa kali percobaan yang bisa dilakukan untuk tugas ini jika gagal. 
%%configure
{
  "max_retries": "0"
}
| | max\$1concurrent\$1runs | Int | Jumlah maksimum proses bersamaan yang diizinkan untuk suatu pekerjaan. Contoh: 
%%configure
{
  "max_concurrent_runs": "3"
}
| **Parameter sesi** | Parameter | Jenis | Deskripsi | | --- | --- | --- | | --enable-spark-ui | Boolean | Aktifkan Spark UI untuk memantau dan men-debug pekerjaan AWS Glue ETL. 
%%configure
{
  "--enable-spark-ui": "true"
}
| | --spark-event-logs-path | String | Menentukan jalur Amazon S3. Saat menggunakan fitur pemantauan UI Spark. Contoh: 
%%configure
{
  "--spark-event-logs-path": "s3://path/to/event/logs/"
}
| | --script\$1location | String | Menentukan jalur S3 ke skrip yang mengeksekusi pekerjaan. Contoh:
%%configure 
{
  "script_location": "s3://new-folder-here"
}
| | --SECURITY\$1CONFIGURATION | String | Nama konfigurasi AWS Glue keamanan Contoh: 
%%configure
{
    "--security_configuration": {
"encryption_type": "kms",
"kms_key_id": "YOUR_KMS_KEY_ARN"
}
}
| | --job-language | String | Bahasa pemrograman skrip. Menerima nilai 'scala' atau 'python'. Defaultnya adalah 'python'. Contoh: 
%%configure 
{
  "--job-language": "scala"
}
| | --class | String | Kelas Scala yang berfungsi sebagai titik masuk untuk skrip Scala Anda. Defaultnya adalah null. Contoh: 
%%configure 
{
  "--class": "className"
}
| | --user-jars-first | Boolean | Memprioritaskan file JAR tambahan pelanggan di classpath. Defaultnya adalah null. Contoh: 
%%configure 
{
  "--user-jars-first": "true"
}
| | --use-postgres-driver | Boolean | Memprioritaskan driver Postgres JDBC di jalur kelas untuk menghindari konflik dengan driver JDBC. Amazon Redshift Defaultnya adalah null. Contoh: 
%%configure 
{
  "--use-postgres-driver": "true"
}
| | --extra-files | Daftar (string) | Jalur Amazon S3 ke file tambahan, seperti file konfigurasi yang AWS Glue menyalin ke direktori kerja skrip Anda sebelum menjalankannya. Contoh: 
%%configure 
{
  "--extra-files": "s3://path/to/additional/files/"
}
| | --job-bookmark-option | String | Mengontrol perilaku bookmark pekerjaan. Menerima nilai 'job-bookmark-enable', '' atau job-bookmark-disable 'job-bookmark-pause'. Defaultnya adalah job-bookmark-disable ''. Contoh: 
%%configure
{
  "--job-bookmark-option": "job-bookmark-enable"
}
| | --TempDir | String | Menentukan jalur Amazon S3 ke bucket yang dapat digunakan sebagai direktori sementara untuk pekerjaan itu. Defaultnya adalah null. Contoh: 
%%configure 
{
  "--TempDir": "s3://path/to/temp/dir"
}
| | --enable-s3-parquet-optimized-committer | Boolean | Mengaktifkan EMRFS Amazon S3 committer yang dioptimalkan untuk menulis data Parket ke Amazon S3. Default adalah 'benar'. Contoh: 
%%configure 
{
  "--enable-s3-parquet-optimized-committer": "false"
}
| | --enable-rename-algorithm-v2 | Boolean | Menetapkan EMRFS mengubah nama algoritma versi ke versi 2. Default adalah 'benar'. Contoh: 
%%configure 
{
  "--enable-rename-algorithm-v2": "true"
}
| | --enable-glue-datacatalog | Boolean | Memungkinkan Anda menggunakan Katalog AWS Glue Data sebagai metastore Apache Spark Hive. Contoh: 
%%configure 
{
  "--enable-glue-datacatalog": "true"
}
| | --enable-metrics | Boolean | Mengaktifkan pengumpulan metrik untuk pembuatan profil pekerjaan untuk menjalankan pekerjaan. Defaultnya adalah 'palsu'. Contoh: 
%%configure 
{
  "--enable-metrics": "true"
}
| | --enable-continuous-cloudwatch-log | Boolean | Mengaktifkan pencatatan berkelanjutan secara real-time untuk AWS Glue pekerjaan. Defaultnya adalah 'palsu'. Contoh: 
%%configure 
{
  "--enable-continuous-cloudwatch-log": "true"
}
| | --enable-continuous-log-filter | Boolean | Menentukan filter standar atau tidak ada filter saat Anda membuat atau mengedit pekerjaan diaktifkan untuk logging berkelanjutan. Default adalah 'benar'. Contoh: 
%%configure 
{
  "--enable-continuous-log-filter": "true"
}
| | --continuous-log-stream-prefix | String | Menentukan awalan aliran Amazon CloudWatch log kustom untuk pekerjaan yang diaktifkan untuk logging berkelanjutan. Defaultnya adalah null. Contoh: 
%%configure 
{
  "--continuous-log-stream-prefix": "prefix"
}
| | --continuous-log-conversionPattern | String | Menentukan pola log konversi kustom untuk pekerjaan yang diaktifkan untuk logging berkelanjutan. Defaultnya adalah null. Contoh: 
%%configure 
{
  "--continuous-log-conversionPattern": "pattern"
}
| | --conf | String | Mengontrol parameter konfigurasi Spark. Ini untuk kasus penggunaan lanjutan. Gunakan --conf sebelum setiap parameter. Contoh: 
%%configure
{
    "--conf": "spark.hadoop.hive.metastore.glue.catalogid=123456789012 --conf hive.metastore.client.factory.class=com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory --conf hive.metastore.schema.verification=false"
}
| | batas waktu | Int | Menentukan jumlah waktu maksimum sesi Spark harus menunggu pernyataan selesai sebelum menghentikannya. 
%%configure 
{
  "timeout": "30"
}
| | auto-scaling | Boolean | Menentukan apakah akan menggunakan auto-scaling atau tidak. 
%%configure 
{
  "––enable-auto-scaling": "true"
}
| ### Sihir pekerjaan Spark (ETL & streaming) | Nama | Tipe | Deskripsi | | --- | --- | --- | | %worker\$1type | String | Standar, G.1X, G.2X, G.4X, G.8X, G.12X, G.16X, R.1X, R.2X, R.4X, atau R.8X. number\$1of\$1workersharus diatur juga. Worker\$1type default adalah G.1X. | | %connections | Daftar | Tentukan daftar koneksi yang dipisahkan koma untuk digunakan dalam sesi. Contoh: 
%connections my_rds_connection
                    dy_f = glue_context.create_dynamic_frame.from_catalog(database='rds_tables', table_name='sales_table')
| | %extra\$1py\$1files | Daftar | Daftar terpisah koma file Python tambahan dari Amazon S3. | | %extra\$1jars | Daftar | Daftar stoples tambahan yang dipisahkan koma untuk dimasukkan ke dalam cluster. | | %spark\$1conf | String | Tentukan konfigurasi percikan khusus untuk sesi Anda. Misalnya, %spark\$1conf spark.serializer=org.apache.spark.serializer.KryoSerializer. | ### Pekerjaan Magics for Ray | Nama | Tipe | Deskripsi | | --- | --- | --- | | %min\$1workers | Int | Jumlah minimum pekerja yang dialokasikan untuk pekerjaan Ray. Default: 1. Contoh: `%min_workers 2` | | %object\$1memory\$1head | Int | Persentase memori bebas pada node kepala instance setelah awal yang hangat. Minimal: 0. Maksimal: 100. Contoh: `%object_memory_head 100` | | %object\$1memory\$1worker | Int | Persentase memori bebas pada node pekerja instance setelah awal yang hangat. Minimal: 0. Maksimal: 100. Contoh: `%object_memory_worker 100` | ### Sihir aksi | Nama | Tipe | Deskripsi | | --- | --- | --- | | %%sql | String | Jalankan kode SQL. Semua baris setelah `%%sql` sihir awal akan diteruskan sebagai bagian dari kode SQL. Contoh: `%%sql select * from rds_tables.sales_table` | | %matplot | Sosok Matplotlib | Visualisasikan data Anda menggunakan pustaka matplotlib. Contoh: 
import matplotlib.pyplot as plt

# Set X-axis and Y-axis values
x = [5, 2, 8, 4, 9]
y = [10, 4, 8, 5, 2]
  
# Create a bar chart 
plt.bar(x, y)
  
# Show the plot
%matplot plt
| | %plotly | Sosok yang cepat | Visualisasikan data Anda menggunakan pustaka plotly. Contoh: 
import plotly.express as px
                  
#Create a graphical figure
fig = px.line(x=["a","b","c"], y=[1,3,2], title="sample figure")

#Show the figure
%plotly fig
| ## Sesi penamaan AWS Gluesesi interaktif adalah AWS sumber daya dan membutuhkan nama. Nama harus unik untuk setiap sesi dan mungkin dibatasi oleh administrator IAM Anda. Untuk informasi selengkapnya, lihat [Sesi interaktif dengan IAM](glue-is-security.md). Kernel Jupyter secara otomatis menghasilkan nama sesi unik untuk Anda. Namun sesi dapat diberi nama secara manual dengan dua cara: 1. Menggunakan file AWS Command Line Interface konfigurasi yang terletak di`~.aws/config`. Lihat [Menyiapkan AWS Config dengan file](https://docs.aws.amazon.com/config/latest/developerguide/gs-cli.html). AWS Command Line Interface 1. Menggunakan `%session_id_prefix` sihir. Lihat [Sihir didukung oleh sesi AWS Glue interaktif untuk Jupyter](#interactive-sessions-supported-magics). Nama sesi dihasilkan sebagai berikut: + Ketika awalan dan session\$1id disediakan: nama sesi akan menjadi \$1prefix\$1 - \$1UUID\$1. + Ketika tidak ada yang disediakan: nama sesi akan menjadi \$1UUID\$1. Awalan nama sesi memungkinkan Anda mengenali sesi saat mencantumkannya di konsol AWS CLI atau. ## Menentukan peran IAM untuk sesi interaktif Anda harus menentukan peran AWS Identity and Access Management (IAM) untuk digunakan dengan kode AWS Glue ETL yang Anda jalankan dengan sesi interaktif. Peran tersebut memerlukan izin IAM yang sama dengan yang diperlukan untuk menjalankan AWS Glue pekerjaan. Lihat [Membuat peran IAM AWS Glue untuk](https://docs.aws.amazon.com/glue/latest/dg/create-an-iam-role.html) informasi selengkapnya tentang membuat peran untuk AWS Glue pekerjaan dan sesi interaktif. Peran IAM dapat ditentukan dalam dua cara: + Menggunakan file AWS Command Line Interface konfigurasi yang terletak di `~.aws/config` (Disarankan). Untuk informasi selengkapnya, lihat [Mengonfigurasi sesi dengan \$1/.aws/config](https://docs.aws.amazon.com/glue/latest/ug/interactive-sessions-magics.html#interactive-sessions-named-profiles). **catatan** Ketika `%profile` sihir digunakan, konfigurasi untuk `glue_iam_role` profil itu dihormati. + Menggunakan sihir %iam\$1role. Untuk informasi selengkapnya, lihat [Sihir didukung oleh sesi AWS Glue interaktif untuk Jupyter](#interactive-sessions-supported-magics). ## Mengkonfigurasi sesi dengan profil bernama AWS Gluesesi interaktif menggunakan kredensil yang sama dengan AWS Command Line Interface atau boto3, dan sesi interaktif menghormati dan bekerja dengan profil bernama seperti yang AWS CLI ditemukan di (`~/.aws/config`Linux dan macOS) atau (Windows). `%USERPROFILE%\.aws\config` Untuk informasi selengkapnya, lihat [Menggunakan profil bernama](https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-files.html#cli-configure-files-using-profiles). Sesi interaktif memanfaatkan profil bernama dengan mengizinkan Peran AWS Glue Layanan dan Awalan ID Sesi ditentukan dalam profil. Untuk mengonfigurasi peran profil, tambahkan baris untuk `iam_role` kunci and/or `session_id_prefix ` ke profil bernama Anda seperti yang ditunjukkan di bawah ini. `session_id_prefix`Tidak memerlukan tanda kutip. Misalnya, jika Anda ingin menambahkan` session_id_prefix`, masukkan nilai`session_id_prefix=myprefix`. ``` [default] region=us-east-1 aws_access_key_id=AKIAIOSFODNN7EXAMPLE aws_secret_access_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY glue_iam_role=arn:aws:iam:::role/ session_id_prefix= [user1] region=eu-west-1 aws_access_key_id=AKIAI44QH8DHBEXAMPLE aws_secret_access_key=je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY glue_iam_role=arn:aws:iam:::role/ session_id_prefix= ``` Jika Anda memiliki metode khusus untuk menghasilkan kredensil, Anda juga dapat mengonfigurasi profil Anda untuk menggunakan `credential_process` parameter dalam file Anda`~/.aws/config`. Contoh: ``` [profile developer] region=us-east-1 credential_process = "/Users/Dave/generate_my_credentials.sh" --username helen ``` Anda dapat menemukan detail selengkapnya tentang sumber kredensil melalui `credential_process` parameter di sini: [Sumber kredensil dengan](https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-sourcing-external.html) proses eksternal. Jika suatu wilayah atau tidak `iam_role` diatur dalam profil yang Anda gunakan, Anda harus menentukannya menggunakan `%region` dan `%iam_role` sihir di sel pertama yang Anda jalankan.