View a markdown version of this page

Pertimbangan dan batasan - Amazon Athena

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pertimbangan dan batasan

Saat Anda menggunakan Athena untuk membaca tabel Apache Hudi, pertimbangkan poin-poin berikut.

  • Operasi baca dan tulis - Athena dapat membaca kumpulan data Hudi yang dipadatkan tetapi tidak menulis data Hudi.

  • Versi Hudi - Athena mendukung Hudi versi 0.14.0 (default) dan 0.15.0. Athena tidak dapat menjamin kompatibilitas baca dengan tabel yang dibuat dengan versi Hudi yang lebih baru. Untuk informasi selengkapnya tentang fitur dan pembuatan versi Hudi, lihat dokumentasi Hudi di situs web Apache. Perhatikan bahwa versi 0.15.0 dari konektor Hudi di Athena tidak mendukung tabel bootstrap. Untuk menggunakan 0.15.0 dari konektor Hudi, atur properti tabel berikut:

    ALTER TABLE table_name SET TBLPROPERTIES ('athena_enable_native_hudi_connector_implementation' = 'true')

  • Kueri lintas akun - Versi 0.15.0 dari konektor Hudi tidak mendukung kueri lintas akun.

  • Jenis kueri — Saat ini, Athena mendukung kueri snapshot dan membaca kueri yang dioptimalkan, tetapi bukan kueri tambahan. Pada tabel MoR, semua data yang terpapar untuk mengkueri dioptimalkan baca dipadatkan. Ini memberikan performa yang baik tetapi tidak termasuk komit delta terbaru. Kueri snapshot berisi data terbaru tetapi dikenai beberapa overhead komputasi, yang membuat performa kueri ini tidak terlalu baik. Untuk informasi selengkapnya tentang pengorbanan antara tipe tabel dan kueri, lihat Jenis Tabel & Kueri dalam dokumentasi Apache Hudi.

  • Pertanyaan tambahan - Athena tidak mendukung kueri tambahan.

  • CTAS — Athena tidak mendukung CTAS INSERT INTO atau data Hudi. Jika Anda ingin dukungan Athena untuk menulis set data Hudi, kirim umpan balik ke .

    Untuk informasi selengkapnya tentang penulisan data Hudi, lihat sumber daya berikut:

  • MSCK REPAIR TABLE - Menggunakan MSCK REPAIR TABLE pada tabel Hudi di Athena tidak didukung. Jika Anda perlu memuat tabel Hudi yang tidak dibuat AWS Glue, gunakanALTER TABLE ADD PARTITION.

  • Melewatkan objek Amazon Glacier tidak didukung - Jika objek di tabel Apache Hudi berada dalam kelas penyimpanan Amazon Glacier, menyetel properti tabel agar tidak berpengaruh. read_restored_glacier_objects false

    Misalnya, Anda mengeluarkan perintah berikut:

    ALTER TABLE table_name SET TBLPROPERTIES ('read_restored_glacier_objects' = 'false')

    Untuk tabel Iceberg dan Delta Lake, perintah menghasilkan kesalahan Kunci properti tabel Tidak didukung: read_restored_glacier_objects. Untuk tabel Hudi, ALTER TABLE perintah tidak menghasilkan kesalahan, tetapi objek Amazon Glacier masih belum dilewati. Menjalankan SELECT kueri setelah ALTER TABLE perintah terus mengembalikan semua objek.

  • Kueri stempel waktu — Saat ini, kueri yang mencoba membaca kolom stempel waktu dalam tabel waktu nyata Hudi gagal atau menghasilkan hasil kosong. Batasan ini hanya berlaku untuk kueri yang membaca kolom stempel waktu. Kueri yang hanya menyertakan kolom non-stempel waktu dari tabel yang sama berhasil.

    Kueri yang gagal mengembalikan pesan yang mirip dengan berikut ini:

    GENERIC_INTERNAL_ERROR: kelas org.apache.hadoop.io. ArrayWritabletidak dapat dilemparkan ke kelas org.apache.hadoop.hive.serde2.io. TimestampWritableV2 (org.apache.hadoop.io. ArrayWritable dan org.apache.hadoop.hive.serde2.io. TimestampWritableV2 berada dalam modul loader io.trino.server yang tidak disebutkan namanya. PluginClassLoader @75c67992)

  • Izin Lake Formation pada 0.15.0 Konektor Hudi — Batasan ini hanya berlaku ketika Anda memilih untuk menggunakan konektor Hudi asli (versi 0.15.0) dengan menyetel properti tabel ke. athena_enable_native_hudi_connector_implementation true Secara default, Athena menggunakan konektor Hudi versi 0.14.0, yang tidak memerlukan izin tambahan ini. Untuk menanyakan tabel yang dilindungi Lake Formation, Anda harus memberikan izin Lake Formation ke lokasi data tabel dan direktori .hoodie metadata. Misalnya, jika tabel Hudi Anda berada dis3://bucket/hudi-table/, Anda harus mendaftar dan memberikan izin untuk keduanya s3://bucket/hudi-table/ dan s3://bucket/hudi-table/.hoodie/ di Lake Formation. .hoodieDirektori berisi file metadata (sepertihoodie.properties) yang perlu dibaca Athena selama perencanaan kueri. Tanpa izin ke .hoodie direktori, kueri akan gagal dengan kesalahan izin ditolak.