Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Gunakan katalog Katalog Data AWS Glue dengan Spark di Amazon EMR
Menggunakan Amazon EMR rilis 5.8.0 atau yang lebih baru, Anda dapat mengonfigurasi Spark untuk menggunakan Katalog Data AWS Glue sebagai metastore Apache Hive. Kami merekomendasikan konfigurasi ini ketika Anda memerlukan metastore Hive persisten atau metastore Hive yang dibagikan oleh berbagai cluster, layanan, aplikasi, atau akun. AWS
Menggunakan Amazon EMR rilis 6.5.0 atau yang lebih baru, Anda dapat mengonfigurasi Spark untuk menggunakan Katalog Data AWS Glue dengan Apache Iceberg.
Menggunakan Amazon EMR rilis 7.5.0 atau yang lebih baru, Anda dapat mengonfigurasi Spark untuk menggunakan Katalog Data AWS Glue sebagai katalog Iceberg REST.
AWS Glue adalah layanan ekstrak, transformasi, dan beban (ETL) yang dikelola sepenuhnya yang membuatnya sederhana dan hemat biaya untuk mengkategorikan data Anda, membersihkannya, memperkaya, dan memindahkannya dengan andal di antara berbagai penyimpanan data. Katalog Data AWS Glue menyediakan repositori metadata terpadu di berbagai sumber data dan format data, terintegrasi dengan Amazon EMR serta Amazon RDS, Amazon Redshift, Redshift Spectrum, Athena, dan aplikasi apa pun yang kompatibel dengan metastore Apache Hive. AWS Glue crawler dapat secara otomatis menyimpulkan skema dari data sumber di Amazon S3 dan menyimpan metadata terkait dalam Katalog Data. Untuk informasi selengkapnya tentang Katalog Data, lihat [Mengisi Katalog Data AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/populate-data-catalog.html) di *Panduan Pengembang AWS Glue*.
Biaya terpisah berlaku untuk AWS Glue. Ada tarif bulanan untuk menyimpan dan mengakses metadata di Katalog Data, tarif per jam yang ditagih per menit untuk pekerjaan AWS Glue ETL dan runtime crawler, dan tarif per jam yang ditagih per menit untuk setiap titik akhir pengembangan yang disediakan. Katalog Data memungkinkan Anda untuk menyimpan hingga satu juta objek tanpa biaya. Jika Anda menyimpan lebih dari satu juta objek, Anda dikenakan biaya USD\$11 untuk setiap 100.000 objek lebih dari satu juta. Sebuah objek dalam Katalog Data adalah tabel, partisi, atau database. Untuk informasi lebih lanjut, lihat [Harga Glue](https://aws.amazon.com/glue/pricing).
**penting**
Jika Anda membuat tabel menggunakan Amazon Athena atau Amazon Redshift Spectrum sebelum 14 Agustus 2017, database dan tabel disimpan dalam katalog yang dikelola Athena, yang terpisah dari Katalog Data Glue. AWS Untuk mengintegrasikan Amazon EMR dengan tabel ini, Anda harus meningkatkan ke Katalog Data AWS Glue. Untuk informasi selengkapnya, lihat [Memutakhirkan ke Katalog Data AWS Glue](https://docs.aws.amazon.com/athena/latest/ug/glue-upgrade.html) di Panduan *Pengguna Amazon Athena*.
## Menentukan Katalog Data AWS Glue sebagai metastore Apache Hive
Anda dapat menentukan Katalog Data AWS Glue sebagai metastore menggunakan Konsol Manajemen AWS, AWS CLI, atau Amazon EMR API. Bila Anda menggunakan CLI atau API, Anda menggunakan klasifikasi konfigurasi untuk Spark untuk menentukan Katalog Data. Selain itu, dengan Amazon EMR 5.16.0 dan yang lebih baru, Anda dapat menggunakan klasifikasi konfigurasi untuk menentukan Katalog Data yang berbeda. Akun AWS Bila menggunakan konsol, Anda dapat menentukan Katalog Data menggunakan **Opsi lanjutan** atau **Opsi cepat**.
**catatan**
Opsi untuk menggunakan AWS Glue Data Catalog juga tersedia dengan Zeppelin karena Zeppelin dipasang dengan komponen Spark.
------
#### [ Console ]
**Untuk menentukan AWS Glue Data Catalog sebagai metastore Apache Hive dengan konsol baru**
1. [Masuk ke Konsol Manajemen AWS, dan buka konsol EMR Amazon di https://console.aws.amazon.com /emr.](https://console.aws.amazon.com/emr)
1. **Di bawah **Amazon EMR di EC2** di panel navigasi kiri, pilih **Clusters, lalu pilih Create cluster**.**
1. Di bawah **Bundel aplikasi**, pilih **Spark** atau **Custom**. Jika Anda menyesuaikan cluster Anda, pastikan bahwa Anda memilih Zeppelin atau Spark sebagai salah satu aplikasi Anda.
1. Di bawah **pengaturan AWS Glue Data Catalog**, pilih kotak centang **Use for Spark table metadata**.
1. Pilih opsi lain yang berlaku untuk cluster Anda.
1. Untuk meluncurkan klaster Anda, pilih **Buat klaster**.
------
#### [ AWS CLI ]
**Untuk menentukan Katalog Data AWS Glue sebagai metastore Apache Hive dengan AWS CLI**
Untuk informasi selengkapnya tentang menentukan klasifikasi konfigurasi menggunakan API EMR Amazon AWS CLI dan Amazon, lihat. [Konfigurasikan aplikasi](emr-configure-apps.md)
+ Tentukan nilai untuk `hive.metastore.client.factory.class` menggunakan `spark-hive-site` Klasifikasi seperti yang ditunjukkan dalam contoh berikut:
```
[
{
"Classification": "spark-hive-site",
"Properties": {
"hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
}
}
]
```
Untuk menentukan Katalog Data di AWS akun yang berbeda, tambahkan `hive.metastore.glue.catalogid` properti seperti yang ditunjukkan pada contoh berikut. Ganti `acct-id` dengan AWS akun Katalog Data.
```
[
{
"Classification": "spark-hive-site",
"Properties": {
"hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
"hive.metastore.glue.catalogid": "acct-id"
}
}
]
```
------
## Menentukan Katalog Data AWS Glue sebagai katalog Apache Iceberg
Anda dapat menentukan Katalog Data AWS Glue sebagai implementasi katalog Apache Iceberg, atau titik akhir katalog Apache Iceberg REST, menggunakan, API EMR Amazon Konsol Manajemen AWS, atau AWS CLI pada konfigurasi runtime sesi Spark. Bila Anda menggunakan CLI atau API, Anda menggunakan klasifikasi konfigurasi untuk Spark untuk menentukan Katalog Data. Untuk lebih jelasnya, lihat [Menentukan Katalog Data AWS Glue sebagai katalog Apache Iceberg](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-glue.html#emr-spark-glue-configure-iceberg).
## Izin IAM
Profil instans EC2 untuk cluster harus memiliki izin IAM untuk tindakan AWS Glue. Selain itu, jika Anda mengaktifkan enkripsi untuk objek AWS Glue Data Catalog, peran juga harus diizinkan untuk mengenkripsi, mendekripsi, dan menghasilkan yang AWS KMS key digunakan untuk enkripsi.
### Izin untuk tindakan AWS Glue
Jika Anda menggunakan profil instans EC2 default untuk Amazon EMR, tindakan tidak diperlukan. Kebijakan `AmazonElasticMapReduceforEC2Role` terkelola yang dilampirkan pada `EMR_EC2_DefaultRole` memungkinkan semua tindakan AWS Glue yang diperlukan. Namun, jika Anda menentukan profil dan izin instans EC2 kustom, Anda harus mengonfigurasi tindakan AWS Glue yang sesuai. Gunakan `AmazonElasticMapReduceforEC2Role` Kebijakan yang dikelola sebagai titik awal. Untuk informasi selengkapnya, lihat [Peran layanan untuk instans EC2 cluster (profil instans EC2) di Panduan](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-role-for-ec2.html) Manajemen *EMR* Amazon.
### Izin untuk mengenkripsi dan mendekripsi Katalog Data Glue AWS
Profil instans Anda memerlukan izin untuk mengenkripsi dan mendekripsi data menggunakan kunci Anda. Anda *tidak* perlu mengonfigurasi izin ini jika kedua pernyataan berikut berlaku:
+ Anda mengaktifkan enkripsi untuk objek AWS Glue Data Catalog menggunakan kunci AWS terkelola untuk Glue.
+ Anda menggunakan cluster yang Akun AWS sama dengan AWS Glue Data Catalog.
Jika tidak, Anda harus menambahkan pernyataan berikut ke kebijakan izin yang dilampirkan ke profil instans EC2 Anda.
Untuk informasi selengkapnya tentang enkripsi AWS Glue Data Catalog, lihat [Mengenkripsi katalog data Anda di Panduan](https://docs.aws.amazon.com/glue/latest/dg/encrypt-glue-data-catalog.html) *Pengembang AWS Glue*.
### Izin berbasiskan sumber daya
Jika Anda menggunakan AWS Glue bersama dengan Hive, Spark, atau Presto di Amazon EMR AWS , Glue mendukung kebijakan berbasis sumber daya untuk mengontrol akses ke sumber daya Katalog Data. Sumber daya ini termasuk database, tabel, koneksi, dan fungsi yang ditetapkan pengguna. Untuk informasi lebih lanjut, lihat [AWS Kebijakan sumber daya Glue](https://docs.aws.amazon.com/glue/latest/dg/glue-resource-policies.html) di *AWS Panduan Developer Glue*.
Saat menggunakan kebijakan berbasis sumber daya untuk membatasi akses ke Glue AWS dari dalam Amazon EMR, prinsip yang Anda tentukan dalam kebijakan izin harus berupa ARN peran yang terkait dengan profil instans EC2 yang ditentukan saat kluster dibuat. Misalnya, untuk kebijakan berbasis sumber daya yang dilampirkan ke katalog, Anda dapat menentukan peran ARN untuk peran layanan default untuk instance EC2 klaster, *EMR\$1EC2\$1DefaultRole* seperti`Principal`, menggunakan format yang ditampilkan dalam contoh berikut:
```
arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole
```
*acct-id*Bisa berbeda dari ID akun AWS Glue. Hal ini memungkinkan akses dari cluster EMR di account yang berbeda. Anda dapat menentukan beberapa kepala sekolah, masing-masing dari akun yang berbeda.
## Pertimbangan saat menggunakan AWS Glue Data Catalog
Pertimbangkan item berikut saat menggunakan AWS Glue Data Catalog sebagai metastore Apache Hive dengan Spark:
+ Memiliki database default tanpa lokasi URI menyebabkan kegagalan ketika Anda membuat tabel. Sebagai solusi, gunakan `LOCATION` untuk menentukan lokasi bucket, seperti `s3://amzn-s3-demo-bucket1`, saat Anda menggunakan `CREATE TABLE`. Atau membuat tabel dalam database selain database default.
+ Mengganti nama tabel dari dalam AWS Glue tidak didukung.
+ Bila Anda membuat tabel Hive tanpa menentukan `LOCATION`, data tabel disimpan di lokasi yang ditentukan oleh `hive.metastore.warehouse.dir` properti. Secara default, ini adalah lokasi di HDFS. Jika gugus lain perlu mengakses tabel, gagal kecuali memiliki izin yang memadai untuk gugus yang dibuat tabel. Selain itu, karena penyimpanan HDFS sementara, jika gugus berakhir, data tabel hilang, dan tabel harus diciptakan kembali. Kami menyarankan Anda menentukan `LOCATION` di Amazon S3 saat Anda membuat tabel Hive menggunakan Glue. AWS Atau, Anda dapat menggunakan `hive-site` klasifikasi konfigurasi untuk menentukan lokasi di Amazon S3 untuk `hive.metastore.warehouse.dir`, yang berlaku untuk semua tabel Hive. Jika tabel dibuat di lokasi HDFS dan cluster yang membuatnya masih berjalan, Anda dapat memperbarui lokasi tabel ke Amazon S3 dari dalam AWS Glue. Untuk informasi selengkapnya, lihat [Bekerja dengan Tabel di Konsol AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/console-tables.html) di *Panduan Pengembang AWS Glue*.
+ Nilai partisi yang berisi tanda kutip dan apostrof tidak didukung, misalnya, `PARTITION (owner="Doe's").`
+ [Statistik kolom](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-ColumnStatistics) didukung untuk emr-5.31.0 dan yang lebih baru.
+ Menggunakan [Otorisasi hive](https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Authorization) tidak didukung. Sebagai alternatif, pertimbangkan untuk menggunakan [AWS Kebijakan Berbasis Sumber Daya Glue](https://docs.aws.amazon.com/glue/latest/dg/glue-resource-policies.html). Untuk informasi selengkapnya, lihat [Menggunakan Kebijakan Berbasis Sumber Daya untuk Amazon EMR Access to Glue](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles-glue.html) Data Catalog. AWS
Pertimbangkan hal berikut saat menggunakan AWS Glue Data Catalog sebagai Katalog Apache Iceberg REST dengan Spark:
+ Jika Anda menggunakan katalog sesi Spark dengan Iceberg, yang dijelaskan dalam[Perbedaan konfigurasi saat Anda menggunakan Iceberg versus SparkCatalog SparkSessionCatalog](emr-iceberg-use-spark-cluster.md#emr-iceberg-spark-catalog), Anda harus mengonfigurasi Katalog Data AWS Glue sebagai metastore Apache Hive, selain mengonfigurasi Katalog Data Glue sebagai katalog Apache Iceberg AWS REST.
+ Titik akhir AWS Glue Data Catalog IRC hanya mendukung skema otentikasi Amazon SiGv4. OAuth tidak didukung. Untuk OAuth pengguna, silakan gunakan Pusat Identitas IAM untuk mengonfigurasi akses. Lihat [Menghubungkan Lake Formation dengan IAM Identity Center](https://docs.aws.amazon.com/lake-formation/latest/dg/connect-lf-identity-center.html).
+ Katalog AWS Glue Iceberg REST tidak mendukung semua operasi di open source.