Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Trino
Trino adalah mesin kueri sumber terbuka yang dirancang untuk kueri interaktif pada berbagai sumber data. Ini dapat mencakup database relasional, data berbasis file, data HDFS, dan lainnya. Tujuan paling umum untuk Trino dengan Amazon EMR adalah untuk menjalankan kueri SQL kompleks pada kumpulan data besar yang disimpan di Amazon S3. Ini juga sesuai dengan ANSI SQL, yang membuatnya akrab bagi insinyur database, analis data, dan ilmuwan data yang akrab dengan SQL.
**catatan**
PrestosQL diubah namanya menjadi Trino pada Desember 2020. Amazon EMR versi 6.4.0 dan yang lebih baru umumnya merujuk ke [Trino](https://trino.io/), sedangkan versi rilis sebelumnya merujuk ke PrestosQL.
**penting**
PrestosQL, versi Trino sebelumnya, masih tersedia untuk digunakan dengan Amazon EMR. Namun, kami sangat menyarankan Trino maju untuk digunakan dengan Amazon EMR. Perhatikan juga bahwa Trino dan PrestosQL tidak dapat berjalan secara bersamaan di cluster yang sama.
Tabel berikut mencantumkan versi Trino yang termasuk dalam rilis terbaru Amazon EMR 7.x, bersama dengan komponen yang dipasang Amazon EMR dengan Trino. Untuk versi komponen yang diinstal dengan Trino dalam rilis ini, lihat Rilis Versi Komponen [7.12.0](emr-7120-release.md).
**Informasi versi Trino (PrestosQL) untuk emr-7.12.0**
| Label Rilis Amazon EMR | Versi Trino (PrestosQL) | Komponen Dipasang Dengan Trino (PrestosQL) |
| --- | --- | --- |
| emr-7.12.0 | trino-prestosql 476-amzn-1 | emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-hdfs-zkfc, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hive-client, hudi, hudi-trino, hcatalog-server, mariadb-server, trino-coordinator, trino-worker |
**Topics**
+ [Sejarah dan desain Trino](emr-trino-intro-history.md)
+ [Memulai dengan Trino](emr-trino-getting-started.md)
+ [Mengkonfigurasi Trino di Amazon EMR](emr-trino-config.md)
+ [Praktik terbaik untuk Trino di Amazon EMR](emr-trino-advanced.md)
+ [Pertimbangan Trino](Trino-considerations.md)
+ [Sejarah rilis Trino](Trino-release-history.md)
# Sejarah dan desain Trino
Trino mengkhususkan diri untuk menanyakan kumpulan data besar dari berbagai sumber. Trino dapat mengakses dan menanyakan HDFS dalam kasus penggunaan big data tradisional, tetapi juga dapat meminta sumber tambahan seperti database relasional dan database NoSQL. Trino awalnya dimulai sebagai fork dari mesin kueri Presto, pada tahun 2019. Sejak itu, telah dikembangkan secara independen dari basis kode Presto.
Untuk informasi selengkapnya tentang mesin kueri Trino dan cara penggunaannya, lihat situs web [Trino](https://trino.io/). Untuk membaca dokumentasi sumber Trino, lihat Gambaran Umum [Trino](https://trino.io/docs/current/overview.html).
## Konsep arsitektur
Trino dapat menjalankan query cepat dan efisien karena memproses data secara paralel di seluruh cluster. Ini dirancang dengan mempertimbangkan data lake, karena khusus untuk kueri pada volume data besar, biasanya dalam kasus penggunaan yang melibatkan Hadoop dan HDFS. Tetapi juga dapat menanyakan database relasional tradisional juga. Untuk informasi selengkapnya, lihat [Arsitektur](https://trino.io/docs/current/overview/concepts.html#architecture) dalam *Dokumentasi Trino*.
### Komponen Trino
Trino memiliki beberapa komponen arsitektur utama yang bekerja sama untuk membuat kueri berjalan cepat. Ini membantu untuk memiliki pengetahuan tentang ini ketika Anda menyempurnakan cluster Anda untuk kinerja yang lebih baik:
+ **Koordinator** bertanggung jawab atas orkestrasi kueri. Ini mem-parsing dan mengoptimalkan kueri SQL yang masuk, menghasilkan rencana eksekusi, menetapkan tugas ke node pekerja, dan mengumpulkan dan merakit hasil kueri. Selain itu, ia memantau penggunaan sumber daya dan melacak status node pekerja. Untuk informasi selengkapnya, lihat [Koordinator](https://trino.io/docs/current/overview/concepts.html#coordinator) dalam dokumentasi *Trino*.
+ **Node pekerja** menangani pemrosesan data untuk kueri. Setelah koordinator memberikan tugas, pekerja mengambil data, melakukan operasi yang diperlukan, seperti bergabung dan agregasi, dan bertukar data perantara dengan pekerja lain. Untuk informasi selengkapnya, lihat [Pekerja](https://trino.io/docs/current/overview/concepts.html#worker) dalam *dokumentasi Trino*.
+ **Konektor** adalah plugin yang memungkinkan Trino terhubung dan menanyakan berbagai sumber data. Setiap konektor tahu cara mengakses dan mengambil data dari sumbernya, seperti Amazon S3, Apache Hive, atau database relasional. Konektor ini memetakan data sumber ke struktur skema Trino.
+ **Katalog** adalah kumpulan logis skema dan tabel yang terkait dengan konektor tertentu. Didefinisikan dalam koordinator, katalog memungkinkan Trino memperlakukan sumber data yang berbeda sebagai ruang nama tunggal. Ini membuatnya sehingga pengguna dapat menanyakan beberapa sumber bersama-sama, seperti Hive dan MySQL, dengan cara terpadu dalam kueri yang sama.
+ **Klien** seperti Trino CLI terhubung melalui driver JDBC dan ODBC ke koordinator Trino untuk mengirimkan kueri SQL. Koordinator mengelola siklus hidup kueri, memberikan hasil kepada klien untuk analisis atau pelaporan lebih lanjut.
### Menjalankan kueri
*Untuk memahami bagaimana Trino mengambil pernyataan SQL dan menjalankannya sebagai kueri, lihat [konsep Trino dalam Dokumentasi Trino](https://trino.io/docs/current/overview/concepts.html#query-execution-model).*
# Memulai dengan Trino
Prosedur di bagian ini menunjukkan cara menyiapkan kluster EMR Amazon untuk menanyakan sumber data metastore dengan Trino. Metastores ini, yang meliputi AWS Glue Data Catalog, menyimpan metadata dan objek database dan mengelola izin akses. Prosedur mencakup prasyarat, pengaturan konfigurasi yang disarankan, membuat konektor, dan menjalankan kueri pada tabel metastore.
**Topics**
+ [Lengkapi langkah-langkah prasyarat untuk menggunakan Amazon EMR dengan Trino](emr-trino-getting-started-pre.md)
+ [Luncurkan cluster EMR Amazon dengan Trino](emr-trino-getting-started-launch.md)
+ [Connect ke node utama untuk kluster Amazon EMR dan jalankan kueri](emr-trino-getting-started-connect.md)
# Lengkapi langkah-langkah prasyarat untuk menggunakan Amazon EMR dengan Trino
Jika Anda belum pernah menggunakan AWS, atau jika Anda belum membuat klaster EMR Amazon, selesaikan langkah-langkah prasyarat ini sebelum Anda membuat klaster EMR Amazon dengan Trino.
## AWS pengaturan lingkungan
Selesaikan langkah-langkah ini untuk mengonfigurasi AWS akun Anda jika Anda belum melakukannya:
1. Mendaftar untuk AWS akun, jika Anda belum memilikinya. Untuk informasi selengkapnya, lihat [Membuat AWS akun](https://docs.aws.amazon.com/accounts/latest/reference/manage-acct-creating.html) di *Panduan Referensi Manajemen AWS Akun*.
1. Masuk ke akun Anda sebagai pengguna administratif.
1. Buat grup dan tetapkan pengguna untuk itu.
1. Buat key pair Amazon EC2, yang dapat Anda gunakan nanti untuk mengamankan komunikasi antar sumber daya dengan SSH. Langkah ini diperlukan jika Anda berencana untuk terhubung ke node utama untuk melakukan tugas. Untuk informasi selengkapnya, lihat [Connect ke node primer klaster EMR Amazon menggunakan](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html) SSH.
# Luncurkan cluster EMR Amazon dengan Trino
Berikut ini menjelaskan pilihan konfigurasi yang benar saat Anda membuat cluster dengan Trino.
## Menggunakan konektor Hive untuk membuat data tersedia untuk kueri
Anda dapat mengonfigurasi konektor Trino untuk metastore Hive untuk tujuan kueri data metastore dari cluster Anda. Metastore adalah lapisan abstraksi yang membuat konten berbasis file atau data tersedia sebagai tabel, sehingga mudah untuk query. Anda harus mengonfigurasi konektor di Amazon EMR untuk membuat tabel metastore Hive tersedia untuk cluster. Prosedur berikut menunjukkan kepada Anda bagaimana melakukan ini:
1. Pilih AWS Glue di konsol dan buat tabel, berdasarkan data sumber Anda di Amazon S3. Tabel dalam AWS Glue Data Catalog adalah definisi metadata untuk data. Masuk akal dalam konteks ini untuk membuat tabel secara manual, membuat kolom sesuka Anda, dari data sumber Anda. Untuk informasi selengkapnya tentang membuat tabel di AWS Glue dari data semi-terstruktur di Amazon S3, [lihat Membuat tabel menggunakan konsol di Panduan](https://docs.aws.amazon.com/glue/latest/dg/tables-described.html#console-tables) Pengguna *AWS Glue*.
1. Tetapkan konfigurasi Anda sebagai bagian dari pembuatan cluster. Pilih tab **Konfigurasi**. Konfigurasi adalah spesifikasi opsional untuk cluster Anda. Saat Anda memasukkan konfigurasi, tambahkan JSON seperti contoh berikut, yang menginstruksikan Trino untuk menggunakan AWS Glue Data Catalog sebagai metastore Hive eksternal untuk metadata tabel:
```
{
"classification": "trino-connector-hive",
"properties": {
"hive.metastore": "glue"
}
}
```
Atau, Anda dapat menerapkan konfigurasi di bagian **Pengaturan perangkat lunak** saat Anda membuat klaster.
Selain itu, Anda dapat mengatur jenis konektor lainnya, seperti untuk menghubungkan dengan Apache Iceberg. Untuk informasi selengkapnya, lihat [Menggunakan klaster Gunung Es dengan Trino](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-iceberg-use-trino-cluster.html) di Panduan Rilis Amazon *EMR*. Mengkonfigurasi pengaturan tambahan adalah opsional.
Untuk melanjutkan langkah memulai, lihat. [Connect ke node utama untuk kluster Amazon EMR dan jalankan kueri](emr-trino-getting-started-connect.md)
## Buat cluster dengan Trino
Berikut ini menjelaskan pilihan konfigurasi yang benar saat Anda membuat cluster yang ingin Anda gunakan dengan Trino.
**penting**
Sebelum Anda membuat cluster Anda, selesaikan konfigurasi AWS Glue Data Catalog sebagai metastore Hive Anda, yang kami rekomendasikan untuk memulai. Untuk informasi selengkapnya, lihat [Menggunakan konektor Hive untuk membuat data tersedia untuk kueri](#emr-trino-getting-started-connect-hive).
1. Di AWS konsol, pilih Amazon EMR dari layanan. Ketika Anda memilih Amazon EMR, jika Anda memiliki cluster yang ada, **EMR Anda pada** kluster EC2 terdaftar.
1. Pilih **Buat klaster**. Dari sini, Anda memulai proses untuk membangun sebuah cluster.
1. Beri nama cluster Anda dan pilih rilis **EMR Amazon**. Anda dapat memilih rilis terbaru untuk tutorial.
1. Pilih bundel **Trino**, yang memiliki aplikasi Trino yang telah dipilih sebelumnya. Bundel disiapkan untuk kenyamanan saat Anda mengetahui tujuan cluster sebelumnya. Jika tidak, Anda cukup memilih kotak centang untuk Trino.
1. Untuk **konfigurasi Cluster**, pilih **Uniform instance groups**. Silakan dan hapus grup instance tambahan.
1. Pilih **jenis Instance**. Umumnya kami menyarankan Anda memilih jenis instans dengan setidaknya 16 memori GiB. Juga, untuk **penskalaan dan penyediaan Cluster pilih Atur ukuran** **cluster** secara manual.
1. Pada titik ini, atur konfigurasi metastore Hive Anda untuk menunjuk ke Glue. AWS Ini dirinci di bagian ini[Menggunakan konektor Hive untuk membuat data tersedia untuk kueri](#emr-trino-getting-started-connect-hive). Selesaikan ini sebelum Anda membangun cluster.
1. Pilih **Buat klaster**. Butuh beberapa menit untuk menyelesaikannya.
Langkah-langkah di sini tidak mencakup semua langkah konfigurasi secara rinci. Informasi lebih lanjut tentang menyiapkan klaster tersedia di [Rencana, konfigurasi, dan luncurkan klaster EMR Amazon](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan.html).
**catatan**
Jangan pilih Presto dan Trino untuk digunakan pada cluster yang sama. Menjalankannya bersama tidak didukung. Juga disarankan bahwa jika Anda menjalankan Trino, Anda tidak menjalankan aplikasi lain di cluster, seperti Spark.
# Connect ke node utama untuk kluster Amazon EMR dan jalankan kueri
## Menyediakan data uji dan mengkonfigurasi izin
Anda dapat menguji Amazon EMR dengan Trino dengan menggunakan AWS Glue Data Catalog dan metastore Hive-nya. Langkah-langkah prasyarat ini menjelaskan cara menyiapkan data pengujian, jika Anda belum melakukannya:
1. Buat kunci SSH untuk digunakan untuk enkripsi komunikasi, jika Anda belum melakukannya.
1. Anda dapat memilih dari beberapa sistem file untuk menyimpan data dan file log. Untuk memulai, buat bucket Amazon S3. Berikan ember nama yang unik. Saat Anda membuatnya, tentukan kunci enkripsi yang Anda buat.
**catatan**
Pilih wilayah yang sama untuk membuat bucket penyimpanan dan kluster EMR Amazon.
1. Pilih ember yang Anda buat. Pilih **Buat folder** dan beri folder nama yang mudah diingat. Saat Anda membuat folder, pilih konfigurasi keamanan. Anda dapat memilih pengaturan keamanan untuk orang tua, atau membuat pengaturan keamanan lebih khusus.
1. Tambahkan data uji ke folder Anda. Untuk keperluan tutorial ini, menggunakan.csv dari catatan yang dipisahkan koma bekerja dengan baik untuk menyelesaikan kasus penggunaan ini.
1. Setelah menambahkan data ke bucket Amazon S3, konfigurasikan tabel di AWS Glue untuk menyediakan lapisan abstraksi untuk menanyakan data.
## Connect dan jalankan query
Berikut ini menjelaskan bagaimana Anda terhubung ke dan menjalankan kueri pada klaster yang menjalankan Trino. Sebelum Anda melakukan ini, pastikan Anda mengatur konektor metastore Hive, yang dijelaskan dalam prosedur sebelumnya, sehingga tabel metastore terlihat.
1. Sebaiknya gunakan EC2 Instance Connect untuk terhubung ke klaster Anda, karena menyediakan koneksi yang aman. Pilih **Connect to the Primary node menggunakan SSH** dari ringkasan cluster. Koneksi mengharuskan grup keamanan memiliki aturan masuk untuk memungkinkan koneksi melalui port 22 ke klien di subnet. Anda juga harus menggunakan **hadoop pengguna saat menghubungkan**.
1. Mulai Trino CLI dengan menjalankan. `trino-cli` Ini menyediakan bagi Anda untuk menjalankan perintah dan data kueri dengan Trino.
1. Jalankan `show catalogs;`. Periksa apakah katalog **sarang** terdaftar. Ini menyediakan daftar katalog yang tersedia, yang berisi penyimpanan data atau pengaturan sistem.
1. Untuk melihat skema yang tersedia, jalankan`show schemas in hive;`. Dari sini, Anda dapat menjalankan `use schema-name;` dan memasukkan nama skema Anda. Kemudian Anda dapat `show tables;` menjalankan daftar tabel.
1. Kueri tabel dengan menjalankan perintah seperti`SELECT * FROM table-name`, menggunakan nama tabel dalam skema Anda. Jika Anda sudah menjalankan `USE` pernyataan untuk terhubung ke skema tertentu, Anda tidak perlu menggunakan notasi dua bagian seperti. *schema* *table*.
# Mengkonfigurasi Trino di Amazon EMR
**Topics**
+ [Mengkonfigurasi konektor untuk Trino](#emr-trino-config-connector)
+ [Memantau](#emr-trino-monitoring)
## Mengkonfigurasi konektor untuk Trino
### Menghubungkan ke AWS Glue sebagai metastore Hive Anda
Penting dan berguna untuk dipahami bahwa Anda dapat mengonfigurasi AWS Glue Data Catalog sebagai metastore Hive Anda saat menjalankan kueri dengan Trino. Untuk informasi tambahan, termasuk langkah-langkah untuk menyiapkan cluster dengan metastore Hive, lihat Menggunakan [Katalog Data AWS Glue sebagai metastore untuk](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html) Hive.
Untuk informasi tentang mengintegrasikan EMR pada EKS dengan AWS Glue, lihat praktik terbaik berikut, integrasi [EMR Containers](https://aws.github.io/aws-emr-containers-best-practices/metastore-integrations/docs/aws-glue/) dengan Glue. AWS
### Menghubungkan ke tabel Iceberg saat menggunakan Trino dengan Amazon EMR
Iceberg adalah format tabel terbuka untuk tabel analitik. Itu dibuat untuk mesin seperti Spark dan Trino untuk menanyakan data besar dari tabel yang sama, menggunakan kueri SQL. Ini mencakup fitur seperti mengisolasi data membaca dan menulis, sehingga pembaca dapat menghindari kueri data yang sebagian diperbarui, misalnya. Ini juga mendukung fitur negara, seperti snapshot. Ini menyediakan lapisan abstraksi melalui penggunaan metadata dan file manifes. Ini menjelaskan skema tabel dan membuatnya mudah untuk menanyakan data tanpa harus mengetahui banyak detail tentang bagaimana itu diformat atau diatur. Saat tersambung, Anda dapat membaca data dari data pembaruan tabel, atau menulis data baru ke file yang mendasarinya.
Ada lokakarya yang tersedia yang menunjukkan cara mengonfigurasi tabel Iceberg dengan Amazon EMR dan Glue. AWS Untuk informasi selengkapnya, lihat [Lokakarya Analytics - Mengatur dan Menggunakan Tabel Gunung Es Apache di Danau Data Anda](https://youtu.be/SZDYmWIStUo?si=sW35AjSWIcHu5x_p).
### Terhubung dengan Klien
Anda dapat terhubung dengan Trino menggunakan driver JDBC yang tersedia. Untuk informasi selengkapnya, lihat [driver JDBC di Dokumentasi](https://trino.io/docs/current/client/jdbc.html) *Trino*.
## Memantau
Anda dapat memantau kluster EMR Amazon melalui. Konsol Manajemen AWS Untuk informasi selengkapnya, [lihat Melihat dan memantau klaster EMR Amazon saat menjalankan pekerjaan](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-manage-view.html). Amazon EMR juga mengirimkan metrik pemantauannya ke. Amazon CloudWatch Untuk informasi selengkapnya tentang memantau klaster EMR Amazon, lihat [Amazon CloudWatch peristiwa dan metrik dari Amazon]() EMR.
# Praktik terbaik untuk Trino di Amazon EMR
Arsitektur Trino dirancang untuk kueri SQL yang cepat dan terdistribusi pada kumpulan data besar di beberapa sumber data, mengikuti model koordinator-pekerja, di mana setiap komponen memiliki peran khusus dalam eksekusi kueri. Ada beberapa area atau kategori yang dapat Anda fokuskan untuk mengonfigurasi cluster EMR Amazon Anda yang menjalankan Trino untuk kinerja terbaiknya. Sumber daya yang dimaksud meliputi:
+ Menyesuaikan pengaturan konfigurasi cluster untuk optimasi memori.
+ Mengoptimalkan pengaturan untuk partisi data dan distribusi data.
+ Menggunakan pemfilteran dinamis untuk mengurangi jumlah hasil kueri.
Beberapa pengaturan ini disetel secara otomatis saat Anda menggunakan Trino dengan Amazon EMR. Lainnya dapat diatur secara manual melalui konsol atau melalui perintah CLI. Topik di bagian ini membantu Anda mengonfigurasi data dan klaster Anda secara optimal.
**Topics**
+ [Bidang fokus utama untuk peningkatan kinerja](emr-trino-performance-areas.md)
+ [Kumpulkan dan Manfaatkan statistik tabel](emr-trino-performance-areas-collect-stats.md)
+ [Tantangan umum saat menskalakan beban kerja Trino](emr-trino-common-issues.md)
# Bidang fokus utama untuk peningkatan kinerja
Trino memaksimalkan paralelisme kueri dan optimasi memori. Arsitektur ini memberikan fleksibilitas dengan memungkinkannya untuk menanyakan banyak sumber data yang bervariasi sambil melakukan penskalaan secara efisien. Bidang utama peningkatan kinerja di Trino termasuk yang tercantum di bawah ini.
## Optimalisasi memori
Manajemen memori di Trino sangat penting untuk mencapai kinerja dan stabilitas tinggi, terutama ketika Anda menjalankan kueri yang besar dan kompleks. Trino menggunakan model memori terdistribusi. Dalam model ini, memori dialokasikan di seluruh node pekerja untuk memproses tugas, agregasi, gabungan, dan operasi lainnya. Daftar berikut memperkenalkan kumpulan pengaturan ini:
+ **query.max-memory** - Menetapkan memori maksimum yang tersedia untuk satu kueri di seluruh cluster. Ini adalah batas yang sulit; jika kueri melebihi memori ini, itu akan gagal.
+ **pertanyaan. max-memory-per-node** — Mendefinisikan memori maksimum yang dapat dikonsumsi kueri pada setiap node pekerja. Menyetel ini memastikan tidak ada kueri tunggal yang memonopoli sumber daya pada pekerja mana pun.
+ **JVM Heap Size** - Dikonfigurasi pada level JVM, ini menetapkan ukuran heap maksimum untuk proses server Trino pada setiap node. **Nilai ini umumnya harus lebih besar dari konfigurasi terkait memori (ini adalah jumlah kueri. max-memory-per-node**dan **memori. heap-headroom-per-node**) di Trino untuk menghindari sistem kehabisan memori di tingkat JVM.
+ **memori. heap-headroom-per-node** — Menentukan jumlah buffer memori untuk meninggalkan dari ukuran tumpukan JVM untuk operasi non-query. Ini sangat penting untuk memastikan biaya overhead yang cukup untuk operasi internal dan pengumpulan sampah.
## Penyaringan Dinamis
Pemfilteran dinamis di Trino adalah teknik pengoptimalan yang meningkatkan kinerja kueri dengan mengurangi jumlah data yang diproses, terutama selama bergabung. Ini secara dinamis menerapkan kondisi filter untuk membatasi data yang dipindai oleh satu sisi gabungan, berdasarkan data yang terlihat di sisi lain, yang sangat berguna dalam kueri di mana satu sisi gabungan sangat selektif (artinya berisi sebagian kecil data). Ini diaktifkan secara default di Amazon EMR. Berikut ini adalah contoh query:
```
SELECT orders.order_id, orders.total_amount
FROM orders
JOIN customers ON orders.customer_id = customers.customer_id
WHERE customers.country = 'France';
```
Tanpa penyaringan dinamis, Trino memindai seluruh tabel pesanan dalam gabungan, meskipun hanya sebagian kecil pelanggan (yang berasal dari Prancis) yang relevan. Pendekatan ini membaca semua baris dalam tabel **pesanan**, menghasilkan biaya tinggi I/O dan pemrosesan. Dengan pemfilteran dinamis, Trino awalnya memindai tabel **pelanggan** yang lebih kecil, mengambil nilai customer\$1id hanya untuk pelanggan dari Prancis, dan kemudian menerapkan subset ini sebagai filter pada pesanan. Ini berarti hanya baris yang relevan dari **pesanan** — yang memiliki customer\$1id yang cocok dengan subset yang difilter — yang dipindai, secara signifikan mengurangi catatan yang diproses.
## Tumpahan ke Disk
Di Trino, tumpahan disk memungkinkan hasil kueri menengah diturunkan ke disk, memungkinkan kueri intensif memori untuk diselesaikan, bahkan jika melebihi batas memori yang ditetapkan oleh atau. `query_max_memory` `query_max_memory_per_node` Secara default, Trino memberlakukan batasan ini untuk memastikan alokasi memori yang adil dan untuk mencegah kebuntuan cluster. Namun, ketika kueri besar melampaui batas ini, itu berisiko penghentian. Penumpahan disk mengatasi ini dengan menggunakan`revocable memory`, memungkinkan kueri untuk meminjam memori tambahan yang dapat dicabut jika sumber daya diperlukan di tempat lain. Ketika memori dicabut, data perantara tumpah ke disk, memungkinkan kueri untuk melanjutkan pemrosesan tanpa melebihi batas memori. Harap dicatat bahwa kueri yang dipaksa untuk tumpah ke disk mungkin memiliki waktu eksekusi yang lebih lama, sehingga dinonaktifkan secara default. Untuk mengaktifkan tumpahan di Amazon EMR, gunakan konfigurasi berikut:
+ `spill-enabled=true`— Memungkinkan tumpahan disk ketika penggunaan memori melebihi ambang batas yang tersedia.
+ `spill-paths`— Mendefinisikan direktori tempat data tumpah disimpan, `spill-paths=/mnt/spill`
# Kumpulkan dan Manfaatkan statistik tabel
Mengumpulkan statistik tabel memungkinkan pengoptimal berbasis biaya Trino untuk membuat keputusan berdasarkan informasi tentang pesanan gabungan, pushdown filter, dan pemangkasan partisi, menghasilkan kinerja yang lebih baik.
Anda dapat menggunakan `ANALYZE` perintah untuk mengumpulkan statistik untuk tabel Hive atau Iceberg:
```
ANALYZE sales;
```
Mengumpulkan statistik pada tabel lebar dapat membebani sumber daya. Kami merekomendasikan untuk menentukan subset kolom yang digunakan dalam gabungan, dalam filter, atau dalam operasi pengelompokan.
Ini adalah perintah lain yang bermanfaat. Ini menampilkan statistik saat ini untuk tabel untuk memverifikasi apakah statistik mutakhir.
```
show stats for table_name;
```
# Tantangan umum saat menskalakan beban kerja Trino
Manfaat utama menggunakan Amazon S3 dengan Trino adalah kemampuan S3 untuk menskalakan volume data yang besar dan efektivitas biaya S3. Tetapi ketika Anda menanyakan volume data yang besar, kumpulan masalah kinerja terkait dapat terjadi pada kesempatan tertentu. Ini dapat dihasilkan dari bagaimana data disimpan, atau dengan pengaturan konfigurasi yang membatasi kinerja yang baik, atau dari alasan lain. Ketika masalah ini terjadi, ada langkah-langkah efektif yang dapat Anda ambil untuk menghindari atau menguranginya.
Bagian ini dimulai dengan daftar pengoptimalan umum yang dapat Anda terapkan untuk meningkatkan kinerja kueri pada volume data yang besar. Setelah itu, masalah umum dirinci dan mitigasi disediakan untuk masing-masing masalah.
Topik ini bersumber dari presentasi konferensi berikut: [Mempercepat kinerja dalam skala: Praktik terbaik untuk Trino dengan Amazon S3](https://www.youtube.com/watch?v=cjUUcHlUKxQ).
## Mengoptimalkan tata letak data untuk kumpulan data besar
Kemacetan kinerja tidak jarang terjadi saat Anda menanyakan kumpulan data besar. Tetapi ada praktik terbaik yang dapat Anda terapkan untuk memulai dengan baik saat Anda menggunakan Trino untuk menanyakan data di Amazon S3. Sumber daya yang dimaksud meliputi:
+ **Partisi** — Partisi berarti mengatur data dalam hierarki dan menyimpan data terkait bersama-sama, berdasarkan atribut terkait. Partisi membuatnya jadi kueri tidak perlu memindai sebanyak mungkin data yang tidak relevan dan menghasilkan kinerja kueri yang lebih baik. Anda dapat menggunakan berbagai strategi partisi, seperti mengatur data sumber dengan awalan, khususnya berdasarkan wilayah rentang tanggal, atau atribut lainnya. Untuk informasi lebih rinci tentang mempartisi data di Amazon S3 untuk meningkatkan kinerja, lihat [posting blog Mulai mengelola partisi untuk tabel Amazon S3 yang didukung AWS oleh Katalog Data Glue [atau posting](https://aws.amazon.com/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/) Top 10 Performance](https://aws.amazon.com/blogs/big-data/get-started-managing-partitions-for-amazon-s3-tables-backed-by-the-aws-glue-data-catalog/) Tuning Tips untuk. Amazon Athena
+ **Bucketing — Bucketing** adalah pengelompokan data terkait bersama-sama dalam file umum. Misalnya, jika Anda menanyakan data menurut wilayah geografis, seperti status, Anda dapat meningkatkan kinerja kueri dengan mengelompokkan semua data untuk status tertentu dalam file atau grup file yang sama. Agar ini bekerja paling baik, dasarkan bucketing Anda pada atribut data dengan kardinalitas tinggi, seperti negara bagian atau provinsi, misalnya. Selain itu, Anda dapat mempertimbangkan pola kueri Anda. Contohnya bisa berarti pengelompokan data untuk California dan Oregon bersama-sama, jika kueri Anda biasanya membaca data dari negara bagian tersebut bersama-sama.
+ **Mengelola awalan S3** - Anda dapat menggunakan awalan Amazon S3 untuk menerapkan strategi partisi. Jika Anda hanya menggunakan satu awalan untuk bucket Amazon S3, seperti tanggal tertentu, misalnya, ini dapat menyebabkan jumlah permintaan yang tinggi dan dapat mengakibatkan kesalahan HTTP 503. Sebaiknya gunakan awalan untuk menambahkan kondisi tambahan dan mengatur data sumber Anda dengan lebih efektif. Untuk informasi selengkapnya, lihat [Mengatur objek menggunakan awalan](https://docs.aws.amazon.com/AmazonS3/latest/userguide/using-prefixes.html) dalam dokumentasi Amazon S3. Contoh singkat berikut menunjukkan awalan yang menghasilkan throughput permintaan yang lebih baik:. `s3://bucket/country=US/dt=2024-06-13` Dalam sampel ini, negara dan tanggal disertakan dalam awalan, yang menghasilkan lebih sedikit pembacaan daripada kasus di mana awalan hanya mencakup tanggal.
Mengurangi kesalahan HTTP 503 dibahas secara lebih rinci di bagian *pelambatan HTTP* yang mengikuti topik ini.
+ **Mengoptimalkan ukuran data** — Anda dapat menjalankan perintah OPTIMIZE untuk mengatur konfigurasi yang kondusif untuk kueri yang berkinerja lebih baik. Untuk menjalankannya terhadap tabel eksternal Hive, ikuti langkah-langkah ini:
+ Gunakan `OPTIMIZE` dengan parameter berikut:`hive.non-managed-table-writes-enabled=true`. Untuk informasi selengkapnya tentang properti ini, lihat [Hive properti konfigurasi umum](https://trino.io/docs/current/connector/hive.html#hive-general-configuration-properties).
+ Tetapkan parameter sesi berikut: `SET SESSION` `catalog.non_transactional_optimize_enabled=true`
+ Jalankan `OPTIMIZE` perintah:`ALTER TABLE catalog.schema.table EXECUTE optimize(file_size_threshold => '128MB')`. Dalam hal ini, `file_size_threshold` adalah 100MB secara default. Menaikkan ambang batas ini, seperti yang ditunjukkan dalam sampel, akan menyebabkan file di bawah 128MB digabungkan.
+ **Konfigurasi percobaan ulang** - Anda dapat meningkatkan batas coba lagi, yang dapat mengurangi kemungkinan kesalahan HTTP 503, dengan menetapkan yang berikut:. `s3.max-error-retries` Ini berlaku ketika Anda menggunakan TrinoFileSystem API dan versi Trino 449 atau yang lebih baru. Di sisi lain, dalam kasus di mana Anda menggunakan Amazon EMR dengan Trino, Anda menggunakan EMRFS untuk mengakses Amazon S3. Dengan EMRFS, Anda dapat meningkatkan jumlah pensiunan dengan mengubah parameter. `fs.s3.maxRetries`
+ **Pilih kelas penyimpanan Amazon S3 — Memilih kelas** penyimpanan yang sesuai untuk data pada titik berbeda dalam siklus hidupnya dapat membantu kinerja dan biaya, berdasarkan kebutuhan Anda untuk pengumpulan data tertentu. Untuk informasi selengkapnya, lihat [Memahami dan mengelola kelas penyimpanan Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/storage-class-intro.htm) dalam dokumentasi Amazon S3.
+ **Migrasi ke Iceberg** — Solusi lain untuk mengurangi masalah kinerja, khususnya terkait menjalankan kueri pada file kecil, adalah dengan bermigrasi ke tabel Iceberg. Iceberg memiliki fitur yang menangani file kecil dengan baik.
+ **Gunakan pemadatan data otomatis** — Jika Anda menggunakan tabel Iceberg, pemadatan data otomatis dengan AWS Glue Data Catalog dapat mengoptimalkan ukuran data dan menghasilkan kinerja kueri yang lebih baik.
## Tantangan umum saat Anda menanyakan kumpulan data besar
Bagian ini mencantumkan kumpulan masalah umum yang dapat terjadi saat Anda mengumpulkan kumpulan data besar di Amazon S3 dan menanyakannya dengan Trino. Setiap bagian menunjukkan cara untuk menyelesaikan masalah atau mengurangi dampaknya pada kueri. Setiap masalah yang dijelaskan di bagian berikut telah direproduksi dan diuji, menggunakan konektor Hive.
### Pemindaian data besar
Ketika kueri Anda harus memindai kumpulan data yang besar, itu dapat menyebabkan masalah seperti kinerja kueri yang lambat dan biaya penyimpanan yang lebih tinggi. Volume data yang besar dapat dihasilkan dari pertumbuhan atau perencanaan data yang cepat yang tidak menghasilkan pemindahan data lama dalam kerangka waktu yang sesuai. Ini dapat menyebabkan kueri lebih lambat.
Untuk mengurangi hit kinerja dari pemindaian kumpulan data besar, kami menyarankan Anda menggunakan partisi dan bucketing:
+ Mempartisi kelompok terkait data bersama-sama, berdasarkan atributnya. Menggunakan partisi secara efektif dapat sangat meningkatkan kinerja kueri.
+ Bucketing mengacu pada pengelompokan data dalam file atau ember sesuai dengan kolom data tertentu yang terkait. Bucketing biasanya berarti secara fisik menyimpan file data sumber terkait bersama-sama.
Untuk mengilustrasikan bagaimana mitigasi dapat bekerja untuk pemindaian data besar, asumsikan Anda menyimpan dan menanyakan data yang memiliki catatan dengan atribut status, yang dapat ditetapkan ke California atau Alaska, dan atribut status ini adalah salah satu kondisi kueri Anda. Anda dapat meningkatkan kinerja kueri dengan menyimpan data untuk setiap status dalam bucket S3 terpisah, atau mempartisi data berdasarkan status, menggunakan awalan S3. Partisi dan bucketing ini juga dapat menyebabkan peningkatan kinerja jika Anda mendasarkannya pada kolom tambahan, seperti atribut tanggal, misalnya.
**catatan**
Jika kolom memiliki kardinalitas tinggi, dan Anda ingin menggunakannya untuk mengelompokkan data, sebaiknya gunakan bucketing dalam kasus ini. Di sisi lain, umumnya, kunci partisi harus memiliki kardinalitas yang lebih rendah.
**Menggunakan berbagai jenis penyimpanan S3**
Umumnya, Anda memilih jenis penyimpanan berdasarkan kinerja, akses data, ketahanan, dan persyaratan biaya untuk beban kerja Anda. Mungkin ada trade off antara biaya dan kinerja. Penting untuk memilih kelas penyimpanan Amazon S3 yang sesuai yang cocok dengan pola akses data Anda. Ada dua pola akses utama:
+ Data yang diakses dengan cara yang diketahui atau dapat diprediksi. Umumnya, jika Anda memiliki data yang jarang diakses, S3 Standard IA bisa menjadi pilihan yang baik, karena membantu mengurangi biaya. Jika Anda telah sering mengakses data, S3 Standard adalah yang terbaik untuk akses dengan Amazon EMR dan Trino.
+ Data yang diakses dengan cara yang tidak diketahui atau tidak dapat diprediksi. Ini dapat meminta untuk menggunakan kelas penyimpanan Amazon S3 lainnya, Ada pertukaran antara kelas penyimpanan S3. Ini termasuk latensi, biaya penyimpanan, dan ketersediaan. Anda dapat memilih jenis penyimpanan S3 yang sesuai, berdasarkan beban kerja dan pola akses Anda. Untuk deskripsi manfaat setiap kelas, lihat Kelas Penyimpanan [Amazon S3]().
**Menggunakan pemadatan**
Anda juga dapat menggunakan Iceberg pemadatan otomatis, jika Anda menggunakan tabel Iceberg, yang menghasilkan ukuran file yang lebih optimal, untuk meningkatkan efisiensi kueri. Untuk informasi selengkapnya, lihat [AWS Glue Data Catalog sekarang mendukung pemadatan otomatis tabel Apache Iceberg](https://aws.amazon.com/blogs/aws/aws-glue-data-catalog-now-supports-automatic-compaction-of-apache-iceberg-tables/).
### Kesalahan pelambatan HTTP
Ini terjadi ketika tingkat permintaan melebihi ambang batas yang telah dikonfigurasi sebelumnya pada awalan Amazon S3. Kesalahan HTTP yang paling sering terjadi ketika status ini tercapai adalah sebagai berikut: **Kesalahan 503: Harap kurangi tingkat permintaan Anda**. Sumber untuk masalah ini dapat di-root di hadapan sejumlah besar file kecil, karena jumlah *split* yang harus dibuat untuk membaca data. Ada beberapa cara untuk mengurangi masalah ini:
+ Tingkatkan batas coba lagi untuk permintaan Amazon S3 di Trino. Ini diatur untuk EMRFS menggunakan `fs.s3.maxretries` di Trino 449.
+ Optimalkan ukuran file, yang juga dapat menghasilkan tingkat permintaan yang lebih rendah.
Untuk informasi selengkapnya tentang cara Trino menentukan jumlah pemisahan dalam kumpulan data yang akan dikueri, lihat [Properti konfigurasi penyetelan kinerja](https://trino.io/docs/current/connector/hive.html#performance-tuning-configuration-properties) dalam dokumentasi konektor Hive.
### Kesulitan menanyakan file kecil
Menanyakan banyak file kecil dapat mengakibatkan I/O overhead yang berat, karena tingginya jumlah permintaan GET dan LIST, dan selanjutnya memengaruhi kinerja kueri secara negatif. Mengoptimalkan ukuran file dapat meningkatkan kinerja kueri. Ada beberapa cara untuk melakukan ini:
+ Konsolidasikan data menjadi lebih sedikit file yang lebih besar. (Umumnya, kami sarankan untuk menjaga ukuran file sekitar 128 MB.) Anda dapat melakukan ini dengan alat saat Anda menyerap data, seperti dalam pipeline ETL, atau Anda dapat mengkonsolidasikan data secara manual. Jika solusi ini tidak tersedia untuk Anda, opsi yang tersisa mungkin lebih cocok untuk Anda.
+ Jalankan perintah `OPTIMIZE`.
+ Atur parameter `SESSION`.
Perhatikan bahwa Iceberg memiliki fitur yang tersedia untuk menggabungkan file kecil menjadi file yang lebih besar yang merupakan pemadatan otomatis. Ia bekerja dengan file yang dikelola dengan Katalog Data AWS Glue. Untuk informasi selengkapnya, lihat [AWS Glue Data Catalog sekarang mendukung pemadatan otomatis tabel Apache Iceberg](https://aws.amazon.com/blogs/aws/aws-glue-data-catalog-now-supports-automatic-compaction-of-apache-iceberg-tables/).
### Kueri yang menyertakan data yang tidak diperlukan
Adalah umum bagi data untuk tumbuh, yang membuatnya penting untuk melacak pola akses data Anda dan memindahkan data dengan tepat seiring bertambahnya usia atau menjadi tidak relevan. Ini karena seiring bertambahnya data, kinerja kueri dapat menurun seiring waktu, terutama karena banyaknya volume data untuk dipindai saat kueri berjalan. Amazon S3 dan layanan lainnya menawarkan panduan untuk migrasi siklus hidup data, yang menunjukkan strategi untuk memindahkan data ke lokasi penyimpanan yang berbeda saat cuaca menjadi dingin. Ada juga manfaat biaya penyimpanan untuk melakukan ini.
Selain migrasi data, Anda dapat menggunakan strategi lain seperti menghapus data sumber yang tidak relevan dengan kueri yang Anda jalankan. Ini dapat membutuhkan beberapa pekerjaan, karena ini mungkin berarti mengubah skema sumber-data Anda. Tetapi hasil positifnya adalah mengurangi volume data dan menghasilkan kueri yang lebih cepat. Untuk informasi selengkapnya, lihat [Mengelola siklus hidup objek.](https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lifecycle-mgmt.html)
# Pertimbangan Trino
Pertimbangkan hal berikut ketika Anda menjalankan Trino di Amazon EMR.
## Properti penyebaran Trino yang tidak dapat dikonfigurasi
Tabel berikut menunjukkan opsi konfigurasi yang berbeda untuk `properties` file Trino.
| Berkas | Dapat dikonfigurasi |
| --- | --- |
| `log.properties` | Trino: Dapat dikonfigurasi di Amazon EMR versi 6.1.0 dan yang lebih baru. Gunakan klasifikasi `prestosql-log` atau `trino-log` konfigurasi. |
| `config.properties` | Trino: Dapat dikonfigurasi di Amazon EMR versi 6.1.0 dan yang lebih baru. Gunakan klasifikasi `prestosql-config` atau `trino-config` konfigurasi. |
| `hive.properties` | Trino: Dapat dikonfigurasi di Amazon EMR versi 6.1.0 dan yang lebih baru. Gunakan klasifikasi `prestosql-connector-hive` atau `trino-connector-hive` konfigurasi. |
| `node.properties` | Trino: Dapat dikonfigurasi di Amazon EMR versi 6.1.0 dan yang lebih baru. Gunakan klasifikasi `prestosql-node` atau `trino-node` konfigurasi. |
| `jvm.config` | Tidak dapat dikonfigurasi. |
## Pertimbangan tambahan
+ Untuk Trino di EMR versi 6.1.0 dan yang lebih baru, Amazon EMR secara otomatis mengonfigurasi kunci rahasia bersama untuk komunikasi internal yang aman antara node cluster. Anda tidak perlu melakukan konfigurasi tambahan untuk mengaktifkan fitur keamanan ini, dan Anda dapat mengganti konfigurasi dengan kunci rahasia Anda sendiri. Untuk informasi tentang otentikasi internal Trino, lihat [Dokumentasi Trino 353: Komunikasi internal yang aman.](https://trino.io/docs/current/security/internal-communication.html)
# Sejarah rilis Trino
Rilis mencatat perubahan detail bagian dan pembaruan untuk versi Trino tertentu di Amazon EMR.
## Catatan rilis Trino berdasarkan versi
+ [Amazon EMR 7.6.0 - Catatan rilis Trino](Trino-release-history-760.md)
+ [Amazon EMR 7.3.0 - Catatan rilis Trino](Trino-release-history-730.md)
+ [Amazon EMR 6.9.0 - Catatan rilis Trino](Trino-release-history-690.md)
# Amazon EMR 7.6.0 - Catatan rilis Trino
## Amazon EMR 7.6.0 - Fitur baru Trino
+ Untuk mendukung kueri yang berjalan lama, Trino sekarang menyertakan mekanisme eksekusi toleran kesalahan. Eksekusi toleran kesalahan mengurangi kegagalan kueri dengan mencoba kembali kueri yang gagal atau tugas komponennya.
## Amazon EMR 7.6.0 - Perubahan Trino
**Amazon EMR 7.6.0 - Perubahan Trino**
| Tipe | Deskripsi |
| --- | --- |
| Peningkatan | Trino upgrade ke 457 |
# Amazon EMR 7.3.0 - Catatan rilis Trino
## Amazon EMR 7.3.0 - Perubahan Trino
+ Rilis ini meningkatkan Trino dari versi 436 ke 442.
+ Rilis ini mengalihkan kueri Hudi ke korektor Hudi yang baru. Konektor Hive lama tidak bisa lagi membaca tabel Hudi. Catatan
+ Rilis ini menghapus modul Rubix dari Amazon EMR karena sekarang sudah usang dari sumber terbuka.
+ Rilis ini [menghapus mode lama](https://github.com/trinodb/trino/pull/21013) di `hive.security` properti. Defaultnya sekarang`allow-all`.
# Amazon EMR 6.9.0 - Catatan rilis Trino
## Amazon EMR 6.9.0 - Fitur baru Trino
+ Untuk mendukung kueri yang berjalan lama, Trino sekarang menyertakan mekanisme eksekusi toleran kesalahan. Eksekusi toleran kesalahan mengurangi kegagalan kueri dengan mencoba kembali kueri yang gagal atau tugas komponennya.
## Amazon EMR 6.9.0 - Perubahan Trino
**Amazon EMR 6.9.0 - Perubahan Trino**
| Tipe | Deskripsi |
| --- | --- |
| Peningkatan | Trino Upgrade ke 398 |
| Peningkatan | Support untuk Hadoop 3.3.3 |
| Fitur | Dukungan Tardigrade: Tambahkan dukungan untuk pertukaran spooling pada HDFS dan Amazon S3. |
| Perbaikan bug | Saat Trino Iceberg digunakan dan katalog Glue diaktifkan, hindari menambahkan uri metastore di `iceberg.properties.` |
## Amazon EMR 6.9.0 - Trino masalah yang diketahui
+ Untuk Amazon EMR rilis 6.9.0, Trino tidak bekerja pada cluster yang diaktifkan untuk Apache Ranger. Jika Anda perlu menggunakan Trino dengan Ranger, hubungi. [Dukungan](https://console.aws.amazon.com/support/home#/)