.amazonaws.com`. Untuk informasi lebih lanjut tentang batasan penamaan ini, lihat [Memperkenalkan klien Hadoop S3A](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Introducing_the_Hadoop_S3A_client.) (situs web Hadoop).Pilih salah satu opsi konfigurasi berikut:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/migrate-data-from-an-on-premises-hadoop-environment-to-amazon-s3-using-distcp-with-aws-privatelink-for-amazon-s3.html) | Administrator AWS |
| Konfigurasikan otentikasi untuk Amazon S3. | Untuk mengautentikasi ke Amazon S3 melalui Hadoop, kami menyarankan Anda mengekspor kredensi peran sementara ke lingkungan Hadoop. Untuk informasi selengkapnya, lihat [Mengautentikasi dengan S3](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Authenticating_with_S3) (situs web Hadoop). Untuk pekerjaan yang berjalan lama, Anda dapat membuat pengguna dan menetapkan kebijakan yang memiliki izin untuk memasukkan data ke dalam bucket S3 saja. Kunci akses dan kunci rahasia dapat disimpan di Hadoop, hanya dapat diakses oleh DistCp pekerjaan itu sendiri dan ke administrator Hadoop. Untuk informasi selengkapnya tentang menyimpan rahasia, lihat [Menyimpan rahasia dengan Penyedia Kredenal Hadoop](https://hadoop.apache.org/docs/r3.1.1/hadoop-aws/tools/hadoop-aws/index.html#hadoop_credential_providers) (situs web Hadoop). Untuk informasi selengkapnya tentang metode autentikasi lainnya, lihat [Cara mendapatkan kredensil peran IAM untuk digunakan dengan akses CLI ke akun AWS dalam dokumentasi Pusat Identitas AWS IAM (penerus AWS Single Sign-On](https://docs.aws.amazon.com/singlesignon/latest/userguide/howtogetcredentials.html)).Untuk menggunakan kredensil sementara, tambahkan kredensil sementara ke file kredensil Anda, atau jalankan perintah berikut untuk mengekspor kredensil ke lingkungan Anda:export AWS_SESSION_TOKEN=SECRET-SESSION-TOKEN
export AWS_ACCESS_KEY_ID=SESSION-ACCESS-KEY
export AWS_SECRET_ACCESS_KEY=SESSION-SECRET-KEY
Jika Anda memiliki kunci akses tradisional dan kombinasi tombol rahasia, jalankan perintah berikut:export AWS_ACCESS_KEY_ID=my.aws.key
export AWS_SECRET_ACCESS_KEY=my.secret.key
Jika Anda menggunakan kunci akses dan kombinasi tombol rahasia, maka ubah penyedia kredensi dalam DistCp perintah dari `"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"` ke. `"org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider"` | Administrator AWS |
| Transfer data dengan menggunakan DistCp | Untuk digunakan DistCp untuk mentransfer data, jalankan perintah berikut:hadoop distcp -Dfs.s3a.aws.credentials.provider=\
"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" \
-Dfs.s3a.access.key="${AWS_ACCESS_KEY_ID}" \
-Dfs.s3a.secret.key="${AWS_SECRET_ACCESS_KEY}" \
-Dfs.s3a.session.token="${AWS_SESSION_TOKEN}" \
-Dfs.s3a.path.style.access=true \
-Dfs.s3a.connection.ssl.enabled=true \
-Dfs.s3a.endpoint=s3..amazonaws.com \
hdfs:///user/root/ s3a://
Wilayah AWS titik akhir tidak ditemukan secara otomatis saat Anda menggunakan DistCp perintah dengan AWS PrivateLink untuk Amazon S3. Hadoop 3.3.2 dan versi yang lebih baru menyelesaikan masalah ini dengan mengaktifkan opsi untuk secara eksplisit menyetel Wilayah AWS dari bucket S3. Untuk informasi selengkapnya, lihat [S3A untuk menambahkan opsi fs.s3a.endpoint.region untuk menyetel wilayah](https://issues.apache.org/jira/browse/HADOOP-17705) AWS (situs web Hadoop).Untuk informasi lebih lanjut tentang penyedia S3A tambahan, lihat [Konfigurasi Klien S3A Umum](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#General_S3A_Client_configuration) (situs web Hadoop). Misalnya, jika Anda menggunakan enkripsi, Anda dapat menambahkan opsi berikut ke rangkaian perintah di atas tergantung pada jenis enkripsi Anda:-Dfs.s3a.server-side-encryption-algorithm=AES-256 [or SSE-C or SSE-KMS]
Untuk menggunakan titik akhir antarmuka dengan S3A, Anda harus membuat entri alias DNS untuk nama Regional S3 (misalnya,`s3..amazonaws.com`) ke titik akhir antarmuka. Lihat bagian *Konfigurasi autentikasi untuk Amazon* S3 untuk petunjuk. Solusi ini diperlukan untuk Hadoop 3.3.2 dan versi sebelumnya. Versi S3A yang akan datang tidak memerlukan solusi ini.Jika Anda memiliki masalah tanda tangan dengan Amazon S3, tambahkan opsi untuk menggunakan penandatanganan Signature Version 4 (SigV4):-Dmapreduce.map.java.opts="-Dcom.amazonaws.services.s3.enableV4=true"
| Insinyur migrasi, administrator AWS |