Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengakses lokasi Amazon S3

AWS Lake Formation memungkinkan Anda membaca dan menulis file data yang mendasarinya di Amazon Simple Storage Service (Amazon S3) untuk tabel yang terdaftar di AWS Glue Data Catalog (Katalog Data). Ini memberi Anda satu set izin untuk kueri SQL dan akses file langsung menggunakan hibah tabel Lake Formation yang ada. Lake Formation memperluas fungsionalitas penjual kredensialnya ke lokasi Amazon S3 yang terdaftar di Katalog Data. Saat aplikasi Anda meminta akses ke file Amazon S3 yang mendasari tabel Katalog Data, Lake Formation mengevaluasi izin tingkat tabel pemanggil yang ada dan, jika diotorisasi, mengembalikan kredensyal Amazon S3 yang berumur pendek dan tercakup untuk lokasi terdaftar tabel tersebut.

Aktifkan akses langsung ke lokasi Amazon S3

Untuk mengaktifkan fitur ini, Anda harus menyelesaikan langkah-langkah berikut.

Prasyarat

Lengkapi prasyarat berikut sebelum mengaktifkan flag fitur:

Aktifkan bendera fitur

Aktifkan fs.s3a.lakeformation.access.grants.enabled bendera pada mesin yang didukung:

fs.s3a.lakeformation.access.grants.enabled = true

Setelah dikonfigurasi, Anda dapat langsung membaca atau menulis file data dari EMR menggunakan API standar.

Untuk informasi selengkapnya tentang integrasi EMR Amazon, lihat penjual kredensi berbasis jalur Lake Formation di Panduan Manajemen EMR Amazon.

Cara kerjanya

Akses lokasi Danau Formation-based Amazon S3 mengikuti aliran ini:

Proses ini transparan bagi Anda dan Anda cukup menggunakan izin Lake Formation yang ada dengan API berbasis file standar.

# Read raw data (Lake Formation-based S3 Location access)
raw_df = spark.read.json("s3://finance-datalake/raw/transactions/dt=2024-03-21/")

# Read governed data (Lake Formation-based S3 Location access)
transactions_df = spark.read.parquet("s3://data-lake/transactions/year=2026/")

# Write processed data (Lake Formation-based S3 Location access)
processed_df.write \
    .mode("append") \
    .partitionBy("transaction_date") \
    .parquet("s3://finance-datalake/processed/transactions/")

print("ETL complete. Records written:", processed_df.count())

Persyaratan izin

Fitur saat ini menjual kredensyal hanya ketika pemanggil memiliki akses tabel penuh, artinya SELECT pada semua kolom tanpa filter baris atau kolom. Jika tabel memiliki filter tingkat baris atau tingkat kolom yang diterapkan, penelepon harus terus menggunakan mesin tepercaya seperti Athena, Amazon EMR, AWS Glue atau Amazon Redshift yang dapat menerapkan filter tersebut. Ini memastikan batas-batas keamanan tetap konsisten.

Cross-account akses

Akses yang disederhanakan Lake Formation ke lokasi Amazon S3 berfungsi dengan kemampuan berbagi lintas akun. Saat Anda membagikan tabel dengan AWS akun lain melalui Lake Formation, penerima dapat mengakses file data Amazon S3 yang mendasarinya menggunakan izin Lake Formation mereka, tunduk pada persyaratan akses tabel lengkap yang sama.

Fitur ini mendukung mekanisme tautan sumber daya Lake Formation untuk akses lintas akun. Jika akun konsumen memiliki izin di tabel bersama, Lake Formation memberikan kredensyal yang dicakup ke lokasi Amazon S3 akun terdaftar, memungkinkan akses data lintas akun yang mulus tanpa memerlukan kebijakan bucket Amazon S3 terpisah atau peran IAM lintas akun.

Lokasi Amazon S3 bersarang

Ketika beberapa tabel menunjuk ke lokasi bersarang di bucket yang sama, Lake Formation menerapkan perilaku berikut:

Audit dan kepatuhan

Semua operasi penjual kredensyal dicatat CloudTrail, menyediakan jejak audit untuk akses data. Saat Lake Formation menjual kredensyal melalui GetTemporaryDataLocationCredentials API, catat: CloudTrail

Panggilan API Amazon S3 berikutnya yang dilakukan dengan kredensyal tersebut juga dicatat sebagai peristiwa data Amazon CloudTrail S3, dengan konteks yang menautkannya kembali ke hibah izin Lake Formation. Ini memberi auditor visibilitas lengkap tentang siapa yang mengakses data apa, kapan, dan melalui jalur izin mana — semuanya dalam satu aliran log. CloudTrail

Didukung AWS layanan

Akses yang disederhanakan Lake Formation ke lokasi Amazon S3 berfungsi dengan:

Plugin open source untuk layanan pihak ketiga

Anda juga dapat mengintegrasikan Trino aplikasi Anda Apache Spark atau menggunakan API atau melalui plugin open source yang disediakan oleh AWS. Untuk informasi selengkapnya, lihat aws-lakeformation-accessgrants-plugin-java-v2 di. GitHub

Pertimbangan-pertimbangan

Perhatikan pertimbangan berikut saat menggunakan penjual kredensyal untuk lokasi Amazon S3: