Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Menggunakan repositori data dengan Amazon untuk Lustre FSx
Amazon FSx for Lustre menyediakan sistem file berkinerja tinggi yang dioptimalkan untuk pemrosesan beban kerja yang cepat. Amazon FSx for Lustre dapat mendukung beban kerja seperti machine learning, komputasi performa tinggi (HPC), pemrosesan video, pemodelan keuangan, dan electronic design automation (EDA). Beban kerja ini biasanya membutuhkan data untuk disajikan menggunakan antarmuka sistem file berkecepatan tinggi yang dapat diskalakan untuk akses data. Seringkali, kumpulan data yang digunakan untuk beban kerja ini disimpan dalam repositori data jangka panjang di Amazon S3. FSx untuk Lustre terintegrasi secara native dengan Amazon S3, sehingga lebih mudah untuk memproses kumpulan data dengan sistem file. Lustre
**catatan**
Pencadangan sistem file tidak didukung pada sistem file yang ditautkan ke repositori data Amazon S3. Untuk informasi selengkapnya, lihat [Melindungi data Anda dengan backup](using-backups-fsx.md).
Sistem file Intelligent-Tiering tidak mendukung penautan ke repositori data Amazon S3.
**Topics**
+ [Gambaran umum tentang repositori data](overview-dra-data-repo.md)
+ [Dukungan metadata POSIX untuk repositori data](posix-metadata-support.md)
+ [Menautkan sistem file Anda ke bucket Amazon S3](create-dra-linked-data-repo.md)
+ [Mengimpor perubahan dari repositori data Anda](importing-files-dra.md)
+ [Mengekspor perubahan ke repositori data](export-changed-data-meta-dra.md)
+ [Tugas repositori data](data-repository-tasks.md)
+ [Melepaskan file](file-release.md)
+ [Menggunakan Amazon FSx dengan data lokal](fsx-on-premises.md)
+ [Log peristiwa repositori data](data-repo-event-logs.md)
+ [Bekerja dengan tipe penerapan yang lebih lama](older-deployment-types.md)
# Gambaran umum tentang repositori data
Saat Anda menggunakan Amazon FSx for Lustre dengan repositori data, Anda dapat menelan dan memproses volume besar data file dalam sistem file berkinerja tinggi dengan menggunakan tugas repositori data impor dan impor otomatis. Pada saat yang sama, Anda dapat menulis hasil ke repositori data Anda dengan menggunakan tugas repositori data ekspor atau ekspor otomatis. Dengan fitur-fitur ini, Anda dapat memulai ulang beban kerja Anda kapan saja menggunakan data terbaru yang disimpan di repositori data Anda.
**catatan**
Asosiasi repositori data, ekspor otomatis, dan dukungan untuk beberapa repositori data tidak tersedia FSx untuk sistem file Lustre 2.10 atau sistem file. `Scratch 1`
FSx for Lustre sangat terintegrasi dengan Amazon S3. Integrasi ini berarti Anda dapat mengakses objek yang disimpan di bucket Amazon S3 dengan mulus dari aplikasi yang memasang sistem file FSx for Lustre Anda. Anda juga dapat menjalankan beban kerja intensif komputasi di instans Amazon EC2 di AWS Cloud dan mengekspor hasilnya ke repositori data setelah beban kerja selesai.
Untuk mengakses objek di repositori data Amazon S3 sebagai file dan direktori pada sistem file, metadata file dan direktori harus dimuat ke dalam sistem file. Anda dapat memuat metadata dari repositori data tertaut saat membuat asosiasi repositori data.
Selain itu, Anda dapat mengimpor metadata file dan direktori dari repositori data tertaut ke sistem file menggunakan impor otomatis atau menggunakan tugas repositori data impor. Saat Anda mengaktifkan impor otomatis untuk asosiasi repositori data, sistem file Anda secara otomatis mengimpor metadata file saat file dibuat, dimodifikasi, and/or dihapus di repositori data S3. Atau, Anda dapat mengimpor metadata untuk file dan direktori baru atau yang diubah menggunakan tugas repositori data impor.
**catatan**
Tugas repositori data impor dan impor otomatis dapat digunakan secara bersamaan pada sistem file.
Anda juga dapat mengekspor file dan metadata terkait di sistem file Anda ke repositori data Anda menggunakan ekspor otomatis atau menggunakan tugas repositori data ekspor. Saat Anda mengaktifkan ekspor otomatis pada asosiasi repositori data, sistem file Anda secara otomatis mengekspor data file dan metadata saat file dibuat, dimodifikasi, atau dihapus. Atau, Anda dapat mengekspor file atau direktori menggunakan tugas repositori data ekspor. Saat Anda menggunakan tugas repositori data ekspor, data file dan metadata yang dibuat atau dimodifikasi sejak tugas terakhir tersebut diekspor.
**catatan**
Tugas repositori data ekspor dan ekspor otomatis tidak dapat digunakan secara bersamaan pada sistem file.
Asosiasi repositori data hanya mengekspor file biasa, symlink dan direktori. Ini berarti semua jenis file lainnya (khusus FIFO, khusus blok, khusus karakter, dan soket) tidak akan diekspor sebagai bagian dari proses ekspor seperti tugas repositori data ekspor dan ekspor otomatis.
FSx untuk Lustre juga mendukung beban kerja cloud yang meledak dengan sistem file lokal dengan memungkinkan Anda menyalin data dari klien lokal menggunakan atau VPN. Direct Connect
**penting**
Jika Anda telah menautkan satu atau beberapa FSx sistem file Lustre ke repositori data di Amazon S3, jangan hapus bucket Amazon S3 hingga Anda menghapus atau memutuskan tautan semua sistem file yang ditautkan.
## Dukungan wilayah dan akun untuk bucket S3 yang ditautkan
Saat Anda membuat tautan ke bucket S3, ingatlah batasan dukungan Wilayah dan akun berikut:
+ Ekspor otomatis mendukung konfigurasi lintas wilayah. Sistem FSx file Amazon dan bucket S3 yang ditautkan dapat ditemukan di tempat yang sama Wilayah AWS atau berbeda Wilayah AWS.
+ Impor otomatis tidak mendukung konfigurasi lintas wilayah. Baik sistem FSx file Amazon dan bucket S3 yang ditautkan harus berada di tempat yang sama Wilayah AWS.
+ Baik ekspor otomatis dan impor otomatis mendukung konfigurasi lintas akun. Sistem FSx file Amazon dan bucket S3 yang ditautkan dapat milik yang sama Akun AWS atau berbeda Akun AWS.
# Dukungan metadata POSIX untuk repositori data
Amazon FSx for Lustre secara otomatis mentransfer metadata Portable Operating System Interface (POSIX) untuk file, direktori, dan tautan simbolik (symlink) saat mengimpor dan mengekspor data ke dan dari repositori data tertaut di Amazon S3. Saat Anda mengekspor perubahan dalam sistem file Anda ke repositori data tertaut, FSx untuk Lustre juga mengekspor perubahan metadata POSIX sebagai metadata objek S3. Ini berarti bahwa jika yang lain FSx untuk sistem file Lustre mengimpor file yang sama dari S3, file akan memiliki metadata POSIX yang sama dalam sistem file itu, termasuk kepemilikan dan izin.
FSx untuk Lustre hanya mengimpor objek S3 yang memiliki kunci objek yang sesuai dengan POSIX, seperti berikut ini.
```
mydir/
mydir/myfile1
mydir/mysubdir/
mydir/mysubdir/myfile2.txt
```
FSx untuk Lustre menyimpan direktori dan symlink sebagai objek terpisah dalam repositori data tertaut pada S3, Untuk direktori, FSx untuk Lustre membuat objek S3 dengan nama kunci yang diakhiri dengan garis miring (“/”), sebagai berikut:
+ Kunci objek S3 `mydir/` memetakan ke direktori FSx for Lustre. `mydir/`
+ Kunci objek S3 `mydir/mysubdir/` memetakan ke direktori FSx for Lustre. `mydir/mysubdir/`
Untuk symlink, FSx untuk Lustre menggunakan skema Amazon S3 berikut:
+ **Kunci objek S3** - Jalur ke tautan, relatif terhadap direktori pemasangan FSx untuk Lustre
+ **Data objek S3** - Jalur target symlink ini
+ Metadata **objek S3 — Metadata** untuk symlink
FSx untuk Lustre menyimpan metadata POSIX, termasuk kepemilikan, izin, dan stempel waktu untuk file, direktori, dan tautan simbolis, di objek S3 sebagai berikut:
+ `Content-Type`Header entitas HTTP yang digunakan untuk menunjukkan jenis media sumber daya untuk browser web.
+ `x-amz-meta-file-permissions`— Jenis file dan izin dalam format``, konsisten dengan `st_mode` di [halaman manual stat Linux (2)](https://man7.org/linux/man-pages/man2/lstat.2.html).
**catatan**
FSx untuk Lustre tidak mengimpor atau menyimpan `setuid` informasi.
+ `x-amz-meta-file-owner`— User ID pemilik (UID) dinyatakan sebagai integer.
+ `x-amz-meta-file-group`— ID grup (GID) dinyatakan sebagai bilangan bulat.
+ `x-amz-meta-file-atime`— Waktu terakhir yang diakses dalam nanodetik sejak awal zaman Unix. Hentikan nilai waktu dengan`ns`; jika tidak FSx untuk Lustre menafsirkan nilai sebagai milidetik.
+ `x-amz-meta-file-mtime`— Waktu modifikasi terakhir dalam nanodetik sejak awal zaman Unix. Hentikan nilai waktu dengan`ns`; jika tidak, FSx untuk Lustre menafsirkan nilai sebagai milidetik.
+ `x-amz-meta-user-agent`— Agen pengguna, diabaikan FSx selama impor Lustre. Selama ekspor, FSx untuk Lustre menetapkan nilai ini ke. `aws-fsx-lustre`
Saat mengimpor objek dari S3 yang tidak memiliki izin POSIX terkait, izin POSIX default yang ditetapkan FSx untuk Lustre ke file adalah. `755` Izin ini memungkinkan akses baca dan eksekusi untuk semua pengguna dan akses tulis untuk pemilik file.
**catatan**
FSx untuk Lustre tidak mempertahankan metadata kustom yang ditentukan pengguna pada objek S3.
# Tautan keras dan ekspor ke Amazon S3
Jika ekspor otomatis (dengan kebijakan BARU dan CHANGED) diaktifkan pada DRA di sistem file Anda, setiap hard link yang terkandung dalam DRA diekspor ke Amazon S3 sebagai objek S3 terpisah untuk setiap hard link. Jika file dengan beberapa hard link dimodifikasi pada sistem file, semua salinan di S3 diperbarui, terlepas dari hard link mana yang digunakan saat mengubah file.
Jika hard link diekspor ke S3 menggunakan tugas repositori data (DRTs), setiap hard link yang terkandung dalam jalur yang ditentukan untuk DRT diekspor ke S3 sebagai objek S3 terpisah untuk setiap hard link. Jika file dengan beberapa hard link dimodifikasi pada sistem file, setiap salinan di S3 diperbarui pada saat hard link masing-masing diekspor, terlepas dari hard link mana yang digunakan saat mengubah file.
**penting**
Ketika sistem file Lustre baru FSx ditautkan ke bucket S3 yang sebelumnya hard link diekspor oleh yang lain FSx untuk sistem file Lustre, AWS DataSync atau Amazon FSx File Gateway, hard link kemudian diimpor sebagai file terpisah pada sistem file baru.
## Tautan keras dan file yang dirilis
File yang dirilis adalah file yang metadatanya ada dalam sistem file, tetapi isinya hanya disimpan di S3. Untuk informasi selengkapnya tentang file yang dirilis, lihat[Melepaskan file](file-release.md).
**penting**
Penggunaan hard link dalam sistem file yang memiliki asosiasi repositori data (DRAs) tunduk pada batasan berikut:
Menghapus dan membuat ulang file yang dirilis yang memiliki beberapa tautan keras dapat menyebabkan konten semua tautan keras ditimpa.
Menghapus file yang dirilis akan menghapus konten dari semua tautan keras yang berada di luar asosiasi repositori data.
Membuat hard link ke file yang dirilis yang objek S3 yang sesuai ada di salah satu kelas penyimpanan S3 Glacier Flexible Retrieval atau S3 Glacier Deep Archive tidak akan membuat objek baru di S3 untuk hard link.
# Panduan: Melampirkan izin POSIX saat mengunggah objek ke bucket Amazon S3
Prosedur berikut menjalankan proses pengunggahan objek ke Amazon S3 dengan izin POSIX. Melakukannya memungkinkan Anda untuk mengimpor izin POSIX saat Anda membuat sistem FSx file Amazon yang ditautkan ke bucket S3 itu.
**Untuk mengunggah objek dengan izin POSIX ke Amazon S3**
1. Dari komputer atau mesin lokal Anda, gunakan perintah contoh berikut untuk membuat direktori pengujian (`s3cptestdir`) dan file (`s3cptest.txt`) yang akan diunggah ke bucket S3.
```
$ mkdir s3cptestdir
$ echo "S3cp metadata import test" >> s3cptestdir/s3cptest.txt
$ ls -ld s3cptestdir/ s3cptestdir/s3cptest.txt
drwxr-xr-x 3 500 500 96 Jan 8 11:29 s3cptestdir/
-rw-r--r-- 1 500 500 26 Jan 8 11:29 s3cptestdir/s3cptest.txt
```
File dan direktori yang baru dibuat memiliki ID pengguna pemilik file (UID) dan ID grup (GID) 500 dan izin seperti yang ditunjukkan pada contoh sebelumnya.
1. Panggil API Amazon S3 untuk membuat direktori `s3cptestdir` dengan izin metadata. Anda harus menentukan nama direktori dengan garis miring ()`/`. Untuk informasi tentang metadata POSIX yang didukung, lihat. [Dukungan metadata POSIX untuk repositori data](posix-metadata-support.md)
Ganti `bucket_name` dengan nama bucket S3 Anda yang sebenarnya.
```
$ aws s3api put-object --bucket bucket_name --key s3cptestdir/ --metadata '{"user-agent":"aws-fsx-lustre" , \
"file-atime":"1595002920000000000ns" , "file-owner":"500" , "file-permissions":"0100664","file-group":"500" , \
"file-mtime":"1595002920000000000ns"}'
```
1. Verifikasi izin POSIX ditandai ke metadata objek S3.
```
$ aws s3api head-object --bucket bucket_name --key s3cptestdir/
{
"AcceptRanges": "bytes",
"LastModified": "Fri, 08 Jan 2021 17:32:27 GMT",
"ContentLength": 0,
"ETag": "\"d41d8cd98f00b204e9800998ecf8427e\"",
"VersionId": "bAlhCoWq7aIEjc3R6Myc6UOb8sHHtJkR",
"ContentType": "binary/octet-stream",
"Metadata": {
"user-agent": "aws-fsx-lustre",
"file-atime": "1595002920000000000ns",
"file-owner": "500",
"file-permissions": "0100664",
"file-group": "500",
"file-mtime": "1595002920000000000ns"
}
}
```
1. Unggah file uji (yang dibuat pada langkah 1) dari komputer Anda ke bucket S3 dengan izin metadata.
```
$ aws s3 cp s3cptestdir/s3cptest.txt s3://bucket_name/s3cptestdir/s3cptest.txt \
--metadata '{"user-agent":"aws-fsx-lustre" , "file-atime":"1595002920000000000ns" , \
"file-owner":"500" , "file-permissions":"0100664","file-group":"500" , "file-mtime":"1595002920000000000ns"}'
```
1. Verifikasi izin POSIX ditandai metadata objek S3.
```
$ aws s3api head-object --bucket bucket_name --key s3cptestdir/s3cptest.txt
{
"AcceptRanges": "bytes",
"LastModified": "Fri, 08 Jan 2021 17:33:35 GMT",
"ContentLength": 26,
"ETag": "\"eb33f7e1f44a14a8e2f9475ae3fc45d3\"",
"VersionId": "w9ztRoEhB832m8NC3a_JTlTyIx7Uzql6",
"ContentType": "text/plain",
"Metadata": {
"user-agent": "aws-fsx-lustre",
"file-atime": "1595002920000000000ns",
"file-owner": "500",
"file-permissions": "0100664",
"file-group": "500",
"file-mtime": "1595002920000000000ns"
}
}
```
1. Verifikasi izin pada sistem FSx file Amazon yang ditautkan ke bucket S3.
```
$ sudo lfs df -h /fsx
UUID bytes Used Available Use% Mounted on
3rnxfbmv-MDT0000_UUID 34.4G 6.1M 34.4G 0% /fsx[MDT:0]
3rnxfbmv-OST0000_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:0]
filesystem_summary: 1.1T 4.5M 1.1T 0% /fsx
$ cd /fsx/s3cptestdir/
$ ls -ld s3cptestdir/
drw-rw-r-- 2 500 500 25600 Jan 8 17:33 s3cptestdir/
$ ls -ld s3cptestdir/s3cptest.txt
-rw-rw-r-- 1 500 500 26 Jan 8 17:33 s3cptestdir/s3cptest.txt
```
Baik `s3cptestdir` direktori dan `s3cptest.txt` file memiliki izin POSIX yang diimpor.
# Menautkan sistem file Anda ke bucket Amazon S3
Anda dapat menautkan sistem file Amazon FSx untuk Lustre ke repositori data di Amazon S3. Anda dapat membuat tautan saat membuat sistem file atau kapan saja setelah sistem file dibuat.
Tautan antara direktori pada sistem file dan bucket atau awalan S3 disebut *data repository association* (DRA). Anda dapat mengonfigurasi maksimal 8 asosiasi repositori data pada sistem file FSx for Lustre. Maksimal 8 permintaan DRA dapat diantrian, tetapi hanya satu permintaan yang dapat dikerjakan pada satu waktu untuk sistem file. Setiap DRA harus memiliki direktori sistem file Lustre yang unik FSx dan bucket atau awalan S3 unik yang terkait dengannya.
**catatan**
Asosiasi repositori data, ekspor otomatis, dan dukungan untuk beberapa repositori data tidak tersedia FSx untuk sistem file Lustre 2.10 atau sistem file. `Scratch 1`
Untuk mengakses objek pada repositori data S3 sebagai file dan direktori pada sistem file, metadata file dan direktori harus dimuat ke dalam sistem file. Anda dapat memuat metadata dari repositori data tertaut saat Anda membuat DRA atau memuat metadata untuk kumpulan file dan direktori yang ingin Anda akses menggunakan sistem file FSx for Lustre di lain waktu menggunakan tugas repositori data impor, atau menggunakan ekspor otomatis untuk memuat metadata secara otomatis ketika objek ditambahkan, diubah, atau dihapus dari repositori data.
Anda dapat mengonfigurasi DRA hanya untuk impor otomatis, hanya untuk ekspor otomatis, atau untuk keduanya. Asosiasi repositori data yang dikonfigurasi dengan impor otomatis dan ekspor otomatis menyebarkan data di kedua arah antara sistem file dan bucket S3 yang ditautkan. Saat Anda membuat perubahan pada data di repositori data S3 Anda, FSx untuk Lustre mendeteksi perubahan dan kemudian secara otomatis mengimpor perubahan ke sistem file Anda. Saat Anda membuat, memodifikasi, atau menghapus file, FSx untuk Lustre secara otomatis mengekspor perubahan ke Amazon S3 secara asinkron setelah aplikasi Anda selesai memodifikasi file.
**penting**
Jika Anda memodifikasi file yang sama di sistem file dan bucket S3, Anda harus memastikan koordinasi tingkat aplikasi untuk mencegah konflik. FSx untuk Lustre tidak mencegah penulisan yang bertentangan di beberapa lokasi.
Untuk file yang ditandai dengan atribut yang tidak dapat diubah, FSx untuk Lustre tidak dapat menyinkronkan perubahan antara sistem file Lustre FSx untuk Anda dan bucket S3 yang ditautkan ke sistem file. Menyetel flag yang tidak dapat diubah untuk jangka waktu yang lama dapat menyebabkan kinerja pergerakan data antara Amazon FSx dan S3 menurun.
Saat Anda membuat asosiasi repositori data, Anda dapat mengonfigurasi properti berikut:
+ **Jalur sistem file** — Masukkan jalur lokal pada sistem file yang menunjuk ke direktori (seperti`/ns1/`) atau subdirektori (seperti`/ns1/subdir/`) yang akan dipetakan one-to-one dengan jalur repositori data yang ditentukan di bawah ini. Garis miring ke depan dalam nama diperlukan. Dua asosiasi repositori data tidak dapat memiliki jalur sistem file yang tumpang tindih. Misalnya, jika repositori data dikaitkan dengan jalur sistem file`/ns1`, maka Anda tidak dapat menautkan repositori data lain dengan jalur sistem file. `/ns1/ns2`
**catatan**
Jika Anda hanya menentukan garis miring (`/`) sebagai jalur sistem file, Anda hanya dapat menautkan satu repositori data ke sistem file. Anda hanya dapat menentukan “/” sebagai jalur sistem file untuk repositori data pertama yang terkait dengan sistem file.
+ Jalur **repositori data - Masukkan jalur** di repositori data S3. Path dapat berupa bucket S3 atau awalan dalam format. `s3://bucket-name/prefix/` Properti ini menentukan di mana dalam file repositori data S3 akan diimpor dari atau diekspor ke. FSx untuk Lustre akan menambahkan tanda “/” ke jalur repositori data Anda jika Anda tidak menyediakannya. Misalnya, jika Anda menyediakan jalur repositori data`s3://amzn-s3-demo-bucket/my-prefix`, FSx untuk Lustre akan menafsirkannya sebagai. `s3://amzn-s3-demo-bucket/my-prefix/`
Dua asosiasi repositori data tidak dapat memiliki jalur repositori data yang tumpang tindih. Misalnya, jika repositori data dengan jalur `s3://amzn-s3-demo-bucket/my-prefix/` ditautkan ke sistem file, maka Anda tidak dapat membuat asosiasi repositori data lain dengan jalur repositori data. `s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix`
+ **Impor metadata dari repositori** — Anda dapat memilih opsi ini untuk mengimpor metadata dari seluruh repositori data segera setelah membuat asosiasi repositori data. Atau, Anda dapat menjalankan tugas repositori data impor untuk memuat semua atau subset metadata dari repositori data tertaut ke dalam sistem file kapan saja setelah asosiasi repositori data dibuat.
+ **Pengaturan impor** — Pilih kebijakan impor yang menentukan jenis objek yang diperbarui (kombinasi apa pun yang baru, diubah, dan dihapus) yang akan secara otomatis diimpor dari bucket S3 yang ditautkan ke sistem file Anda. Impor otomatis (baru, diubah, dihapus) diaktifkan secara default saat Anda menambahkan repositori data dari konsol, tetapi dinonaktifkan secara default saat menggunakan atau AWS CLI Amazon FSx API.
+ **Pengaturan ekspor** — Pilih kebijakan ekspor yang menentukan jenis objek yang diperbarui (kombinasi apa pun yang baru, diubah, dan dihapus) yang akan secara otomatis diekspor ke bucket S3. Ekspor otomatis (baru, diubah, dihapus) diaktifkan secara default saat Anda menambahkan repositori data dari konsol, tetapi dinonaktifkan secara default saat menggunakan atau AWS CLI Amazon FSx API.
**Jalur sistem File dan pengaturan jalur** **repositori Data** menyediakan pemetaan 1:1 antara jalur di Amazon FSx dan kunci objek di S3.
**Topics**
+ [Membuat tautan ke bucket S3](create-linked-dra.md)
+ [Memperbarui pengaturan asosiasi repositori data](update-dra-settings.md)
+ [Menghapus asosiasi ke bucket S3](delete-linked-dra.md)
+ [Melihat detail asosiasi repositori data](view-dra-details.md)
+ [Status siklus hidup asosiasi repositori data](dra-lifecycles.md)
+ [Bekerja dengan bucket Amazon S3 yang dienkripsi sisi server](s3-server-side-encryption-support.md)
# Membuat tautan ke bucket S3
Prosedur berikut memandu Anda melalui proses pembuatan asosiasi repositori data untuk sistem file FSx for Lustre ke bucket S3 yang ada, menggunakan dan (). Konsol Manajemen AWS AWS Command Line Interface AWS CLI Untuk informasi tentang menambahkan izin ke bucket S3 untuk menautkannya ke sistem file Anda, lihat. [Menambahkan izin untuk menggunakan repositori data di Amazon S3](setting-up.md#fsx-adding-permissions-s3)
**catatan**
Repositori data tidak dapat ditautkan ke sistem file yang memiliki cadangan sistem file diaktifkan. Nonaktifkan cadangan sebelum menautkan ke repositori data.
## Untuk menautkan bucket S3 saat membuat sistem file (konsol)
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Ikuti prosedur untuk membuat sistem file baru yang dijelaskan di [Langkah 1: FSx Buat sistem file Lustre Anda](getting-started.md#getting-started-step1) pada bagian Mulai.
1. Buka **Repositori Data Import/Export - bagian *opsional***. Fitur ini dinonaktifkan secara default.
1. Pilih **Impor data dari dan ekspor data ke S3**.
1. Dalam dialog **Informasi asosiasi repositori data**, berikan informasi untuk bidang berikut.
+ **Jalur sistem file**: Masukkan nama direktori tingkat tinggi (seperti`/ns1`) atau subdirektori (seperti`/ns1/subdir`) dalam sistem FSx file Amazon yang akan dikaitkan dengan repositori data S3. Diperlukan garis miring ke depan di jalan. Dua asosiasi repositori data tidak dapat memiliki jalur sistem file yang tumpang tindih. Misalnya, jika repositori data dikaitkan dengan jalur sistem file`/ns1`, maka Anda tidak dapat menautkan repositori data lain dengan jalur sistem file. `/ns1/ns2` Pengaturan **jalur sistem File** harus unik di semua asosiasi repositori data untuk sistem file.
+ **Jalur repositori data**: Masukkan jalur bucket atau awalan S3 yang ada untuk diasosiasikan dengan sistem file Anda (misalnya,). `s3://amzn-s3-demo-bucket/my-prefix` Dua asosiasi repositori data tidak dapat memiliki jalur repositori data yang tumpang tindih. Pengaturan **jalur repositori data** harus unik di semua asosiasi repositori data untuk sistem file.
+ **Impor metadata dari repositori**: Pilih properti ini untuk menjalankan tugas repositori data impor secara opsional untuk mengimpor metadata segera setelah tautan dibuat.
1. Untuk **pengaturan Impor - opsional**, setel **Kebijakan Impor** yang menentukan bagaimana file dan daftar direktori Anda tetap up to date saat Anda menambahkan, mengubah, atau menghapus objek di bucket S3 Anda. Misalnya, pilih **Baru** untuk mengimpor metadata ke sistem file Anda untuk objek baru yang dibuat di bucket S3. Untuk informasi selengkapnya tentang kebijakan impor, lihat[Secara otomatis mengimpor pembaruan dari bucket S3](autoimport-data-repo-dra.md).
1. Untuk **kebijakan Ekspor**, tetapkan kebijakan ekspor yang menentukan cara file Anda diekspor ke bucket S3 tertaut saat menambahkan, mengubah, atau menghapus objek di sistem file Anda. Misalnya, pilih **Diubah** untuk mengekspor objek yang konten atau metadatanya telah diubah pada sistem file Anda. Untuk informasi selengkapnya tentang kebijakan ekspor, lihat[Ekspor pembaruan ke bucket S3 Anda secara otomatis](autoexport-data-repo-dra.md).
1. Lanjutkan dengan bagian berikutnya dari wizard pembuatan sistem file.
## Untuk menautkan bucket S3 ke sistem file yang ada (konsol)
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Dari dasbor, pilih **Sistem file** dan kemudian pilih sistem file yang ingin Anda buat asosiasi repositori data.
1. Pilih tab **Repositori data**.
1. Di panel **Asosiasi repositori data, pilih Buat asosiasi** **repositori data**.
1. Dalam dialog **Informasi asosiasi repositori data**, berikan informasi untuk bidang berikut.
+ **Jalur sistem file**: Masukkan nama direktori tingkat tinggi (seperti`/ns1`) atau subdirektori (seperti`/ns1/subdir`) dalam sistem FSx file Amazon yang akan dikaitkan dengan repositori data S3. Diperlukan garis miring ke depan di jalan. Dua asosiasi repositori data tidak dapat memiliki jalur sistem file yang tumpang tindih. Misalnya, jika repositori data dikaitkan dengan jalur sistem file`/ns1`, maka Anda tidak dapat menautkan repositori data lain dengan jalur sistem file. `/ns1/ns2` Pengaturan **jalur sistem File** harus unik di semua asosiasi repositori data untuk sistem file.
+ **Jalur repositori data**: Masukkan jalur bucket atau awalan S3 yang ada untuk diasosiasikan dengan sistem file Anda (misalnya,). `s3://amzn-s3-demo-bucket/my-prefix` Dua asosiasi repositori data tidak dapat memiliki jalur repositori data yang tumpang tindih. Pengaturan **jalur repositori data** harus unik di semua asosiasi repositori data untuk sistem file.
+ **Impor metadata dari repositori**: Pilih properti ini untuk menjalankan tugas repositori data impor secara opsional untuk mengimpor metadata segera setelah tautan dibuat.
1. Untuk **pengaturan Impor - opsional**, setel **Kebijakan Impor** yang menentukan bagaimana file dan daftar direktori Anda tetap up to date saat Anda menambahkan, mengubah, atau menghapus objek di bucket S3 Anda. Misalnya, pilih **Baru** untuk mengimpor metadata ke sistem file Anda untuk objek baru yang dibuat di bucket S3. Untuk informasi selengkapnya tentang kebijakan impor, lihat[Secara otomatis mengimpor pembaruan dari bucket S3](autoimport-data-repo-dra.md).
1. Untuk **kebijakan Ekspor**, tetapkan kebijakan ekspor yang menentukan cara file Anda diekspor ke bucket S3 tertaut saat menambahkan, mengubah, atau menghapus objek di sistem file Anda. Misalnya, pilih **Diubah** untuk mengekspor objek yang konten atau metadatanya telah diubah pada sistem file Anda. Untuk informasi selengkapnya tentang kebijakan ekspor, lihat[Ekspor pembaruan ke bucket S3 Anda secara otomatis](autoexport-data-repo-dra.md).
1. Pilih **Buat**.
## Untuk menautkan sistem file ke bucket S3 ()AWS CLI
Contoh berikut membuat asosiasi repositori data yang FSx menautkan sistem file Amazon ke bucket S3, dengan kebijakan impor yang mengimpor file baru atau yang diubah ke sistem file dan kebijakan ekspor yang mengekspor file baru, diubah, atau dihapus ke bucket S3 yang ditautkan.
+ Untuk membuat asosiasi repositori data, gunakan perintah Amazon FSx CLI`create-data-repository-association`, seperti yang ditunjukkan berikut.
```
$ aws fsx create-data-repository-association \
--file-system-id fs-0123456789abcdef0 \
--file-system-path /ns1/path1/ \
--data-repository-path s3://amzn-s3-demo-bucket/myprefix/ \
--s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}"
```
Amazon segera FSx mengembalikan deskripsi JSON tentang DRA. DRA dibuat secara asinkron.
Anda dapat menggunakan perintah ini untuk membuat asosiasi repositori data bahkan sebelum sistem file selesai dibuat. Permintaan akan antri dan asosiasi repositori data akan dibuat setelah sistem file tersedia.
# Memperbarui pengaturan asosiasi repositori data
Anda dapat memperbarui pengaturan asosiasi repositori data yang ada menggunakan Konsol Manajemen AWS, FSx API AWS CLI, dan Amazon, seperti yang ditunjukkan dalam prosedur berikut.
**catatan**
Anda tidak dapat memperbarui `File system path` atau `Data repository path` dari DRA setelah dibuat. Jika Anda ingin mengubah `File system path` atau`Data repository path`, Anda harus menghapus DRA dan membuatnya lagi.
## Untuk memperbarui pengaturan untuk asosiasi repositori data yang ada (konsol)
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Dari dasbor, pilih **Sistem file**, lalu pilih sistem file yang ingin Anda kelola.
1. Pilih tab **Repositori data**.
1. Di panel **Asosiasi repositori data, pilih asosiasi** repositori data yang ingin Anda ubah.
1. Pilih **Perbarui**. Dialog edit ditampilkan untuk asosiasi repositori data.
1. Untuk **pengaturan Impor - opsional**, Anda dapat memperbarui **Kebijakan Impor** Anda. Untuk informasi selengkapnya tentang kebijakan impor, lihat[Secara otomatis mengimpor pembaruan dari bucket S3](autoimport-data-repo-dra.md).
1. Untuk **pengaturan Ekspor - opsional**, Anda dapat memperbarui kebijakan ekspor Anda. Untuk informasi selengkapnya tentang kebijakan ekspor, lihat[Ekspor pembaruan ke bucket S3 Anda secara otomatis](autoexport-data-repo-dra.md).
1. Pilih **Perbarui**.
## Untuk memperbarui pengaturan untuk asosiasi repositori data (CLI) yang ada
+ Untuk memperbarui asosiasi repositori data, gunakan perintah Amazon FSx CLI`update-data-repository-association`, seperti yang ditunjukkan berikut.
```
$ aws fsx update-data-repository-association \
--association-id 'dra-872abab4b4503bfc2' \
--s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}"
```
Setelah berhasil memperbarui kebijakan impor dan ekspor asosiasi repositori data, Amazon FSx mengembalikan deskripsi asosiasi repositori data yang diperbarui sebagai JSON.
# Menghapus asosiasi ke bucket S3
Prosedur berikut memandu Anda melalui proses menghapus asosiasi repositori data dari sistem FSx file Amazon yang ada ke bucket S3 yang ada, menggunakan dan (). Konsol Manajemen AWS AWS Command Line Interface AWS CLI Menghapus asosiasi repositori data memutuskan tautan sistem file dari bucket S3.
## Untuk menghapus tautan dari sistem file ke bucket S3 (konsol)
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Dari dasbor, pilih **Sistem file** dan kemudian pilih sistem file yang ingin Anda hapus asosiasi repositori data.
1. Pilih tab **Repositori data**.
1. Di panel **Asosiasi repositori data, pilih asosiasi** repositori data yang ingin Anda hapus.
1. Untuk **Tindakan**, pilih **Hapus asosiasi**.
1. Dalam dialog **Hapus**, Anda dapat memilih **Hapus data dalam sistem file** untuk menghapus data secara fisik dalam sistem file yang sesuai dengan asosiasi repositori data.
Pilih opsi ini jika Anda berencana untuk membuat asosiasi repositori data baru menggunakan jalur sistem file yang sama tetapi menunjuk ke awalan bucket S3 yang berbeda, atau jika Anda tidak lagi memerlukan data dalam sistem file Anda.
1. Pilih **Hapus** untuk menghapus asosiasi repositori data dari sistem file.
## Untuk menghapus tautan dari sistem file ke bucket S3 ()AWS CLI
Contoh berikut menghapus asosiasi repositori data yang menautkan sistem FSx file Amazon ke bucket S3. `--association-id`Parameter menentukan ID asosiasi repositori data yang akan dihapus.
+ Untuk menghapus asosiasi repositori data, gunakan perintah Amazon FSx CLI`delete-data-repository-association`, seperti yang ditunjukkan berikut.
```
$ aws fsx delete-data-repository-association \
--association-id dra-872abab4b4503bfc \
--delete-data-in-file-system false
```
Setelah berhasil menghapus asosiasi repositori data, Amazon FSx mengembalikan deskripsinya sebagai JSON.
**Membuat ulang DRAs dengan jalur sistem file yang sama**
Kami tidak menyarankan menghapus dan membuat ulang asosiasi repositori data yang menggunakan jalur sistem file yang sama. Jika Anda menghapus DRA dan kemudian membuat DRA baru menggunakan jalur sistem file yang sama, beberapa file mungkin mempertahankan status HSM dari DRA yang dihapus sebelumnya.
Jika Anda perlu mengekspor file dari DRA yang dibuat ulang yang dikelola oleh DRA yang dihapus sebelumnya, Anda perlu menandai file-file tersebut sebagai kotor menggunakan perintah di bawah ini dan kemudian menjalankan tugas repositori data ekspor:
```
sudo lfs hsm_set --dirty file_path
```
# Melihat detail asosiasi repositori data
Anda dapat melihat detail asosiasi repositori data menggunakan konsol FSx for Lustre, the AWS CLI, dan API. Rinciannya termasuk ID asosiasi DRA, jalur sistem file, jalur repositori data, pengaturan impor, pengaturan ekspor, status, dan ID sistem file terkait.
## Untuk melihat detail DRA (konsol)
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Dari dasbor, pilih **Sistem file** dan kemudian pilih sistem file yang ingin Anda lihat detail asosiasi repositori data.
1. Pilih tab **Repositori data**.
1. Di panel **Asosiasi repositori data, pilih asosiasi** repositori data yang ingin Anda lihat. Halaman **Ringkasan** muncul, menampilkan detail DRA.
![\[Halaman FSx Detail Amazon dari asosiasi repositori data.\]](http://docs.aws.amazon.com/id_id/fsx/latest/LustreGuide/images/dra-describe.png)
## Untuk melihat detail DRA (CLI)
+ Untuk melihat detail asosiasi repositori data tertentu, gunakan perintah Amazon FSx CLI`describe-data-repository-associations`, seperti yang ditunjukkan berikut.
```
$ aws fsx describe-data-repository-associations \
--association-ids dra-872abab4b4503bfc2
```
Amazon FSx mengembalikan deskripsi asosiasi repositori data sebagai JSON.
# Status siklus hidup asosiasi repositori data
Status siklus hidup asosiasi repositori data memberikan informasi status tentang DRA tertentu. Asosiasi repositori data dapat memiliki status Siklus **Hidup** berikut:
+ **Membuat** — Amazon FSx membuat asosiasi repositori data antara sistem file dan repositori data tertaut. Repositori data tidak tersedia.
+ **Tersedia** - Asosiasi repositori data tersedia untuk digunakan.
+ **Memperbarui** - Asosiasi repositori data sedang menjalani pembaruan yang dimulai pelanggan yang dapat memengaruhi ketersediaannya.
+ **Menghapus** - Asosiasi repositori data sedang mengalami penghapusan yang dimulai pelanggan.
+ **Salah konfigurasi** - Amazon FSx tidak dapat secara otomatis mengimpor pembaruan dari bucket S3 atau secara otomatis mengekspor pembaruan ke bucket S3 hingga konfigurasi asosiasi repositori data diperbaiki.
DRA dapat menjadi **salah konfigurasi** karena hal-hal berikut:
+ Amazon FSx tidak memiliki izin IAM yang diperlukan untuk mengakses bucket S3.
+ Konfigurasi pemberitahuan FSx acara pada bucket S3 dihapus atau dimodifikasi.
+ Bucket S3 memiliki pemberitahuan acara yang ada yang tumpang tindih dengan jenis FSx acara.
Setelah menyelesaikan masalah mendasar, DRA secara otomatis kembali ke status **Tersedia** dalam waktu 15 menit, atau Anda dapat segera memicu perubahan status menggunakan AWS CLI perintah [update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html).
+ **Gagal** - Asosiasi repositori data berada dalam status terminal yang tidak dapat dipulihkan (misalnya, karena jalur sistem filenya dihapus atau bucket S3 dihapus).
Anda dapat melihat status siklus hidup asosiasi repositori data menggunakan FSx konsol Amazon, API Amazon, AWS Command Line Interface dan Amazon. FSx Untuk informasi selengkapnya, lihat [Melihat detail asosiasi repositori data](view-dra-details.md).
# Bekerja dengan bucket Amazon S3 yang dienkripsi sisi server
FSx untuk Lustre mendukung bucket Amazon S3 yang menggunakan enkripsi sisi server dengan kunci yang dikelola S3 (SSE-S3), dan dengan disimpan di (SSE-KMS). AWS KMS keys AWS Key Management Service
Jika Anda ingin Amazon mengenkripsi data saat menulis FSx ke bucket S3 Anda, Anda perlu mengatur enkripsi default pada bucket S3 Anda ke SSE-S3 atau SSE-KMS. Untuk informasi selengkapnya, lihat [Mengonfigurasi enkripsi default](https://docs.aws.amazon.com/AmazonS3/latest/userguide/default-bucket-encryption.html) di Panduan *Pengguna Amazon S3*. Saat menulis file ke bucket S3 Anda, Amazon FSx mengikuti kebijakan enkripsi default bucket S3 Anda.
Secara default, Amazon FSx mendukung bucket S3 yang dienkripsi menggunakan SSE-S3. Jika Anda ingin menautkan sistem FSx file Amazon ke bucket S3 yang dienkripsi menggunakan enkripsi SSE-KMS, Anda perlu menambahkan pernyataan ke kebijakan kunci terkelola pelanggan yang memungkinkan Amazon FSx mengenkripsi dan mendekripsi objek di bucket S3 menggunakan kunci KMS Anda.
Pernyataan berikut memungkinkan sistem FSx file Amazon tertentu untuk mengenkripsi dan mendekripsi objek untuk bucket S3 tertentu. *bucket\$1name*
```
{
"Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fsx_file_system_id"
},
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"kms:CallerAccount": "aws_account_id",
"kms:ViaService": "s3.bucket-region.amazonaws.com"
},
"StringLike": {
"kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*"
}
}
}
```
**catatan**
Jika Anda menggunakan KMS dengan CMK untuk mengenkripsi bucket S3 Anda dengan kunci bucket S3 diaktifkan, setel ke `EncryptionContext` bucket ARN, bukan objek ARN, seperti dalam contoh ini:
```
"StringLike": {
"kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name"
}
```
Pernyataan kebijakan berikut memungkinkan semua sistem FSx file Amazon di akun Anda untuk menautkan ke bucket S3 tertentu.
```
{
"Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket",
"Effect": "Allow",
"Principal": {
"AWS": "*"
},
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"kms:ViaService": "s3.bucket-region.amazonaws.com",
"kms:CallerAccount": "aws_account_id"
},
"StringLike": {
"kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*"
},
"ArnLike": {
"aws:PrincipalArn": "arn:aws_partition:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fs-*"
}
}
}
```
## Mengakses bucket Amazon S3 terenkripsi sisi server di sisi lain atau dari VPC Bersama Akun AWS
Setelah membuat sistem file FSx untuk Lustre yang ditautkan ke bucket Amazon S3 terenkripsi, Anda harus memberikan `AWSServiceRoleForFSxS3Access_fs-01234567890` akses peran terkait layanan (SLR) ke kunci KMS yang digunakan untuk mengenkripsi bucket S3 sebelum membaca atau menulis data dari bucket S3 yang ditautkan. Anda dapat menggunakan peran IAM yang sudah memiliki izin ke kunci KMS.
**catatan**
Peran IAM ini harus ada di akun tempat sistem file FSx for Lustre dibuat (yang merupakan akun yang sama dengan S3 SLR), bukan akun tempat kunci KMS/ember S3 milik.
Anda menggunakan peran IAM untuk memanggil AWS KMS API berikut untuk membuat hibah untuk SLR S3 sehingga SLR mendapatkan izin ke objek S3. Untuk menemukan ARN yang terkait dengan SLR Anda, cari peran IAM Anda menggunakan ID sistem file Anda sebagai string pencarian.
```
$ aws kms create-grant --region fs_account_region \
--key-id arn:aws:kms:s3_bucket_account_region:s3_bucket_account:key/key_id \
--grantee-principal arn:aws:iam::fs_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_file-system-id \
--operations "Decrypt" "Encrypt" "GenerateDataKey" "GenerateDataKeyWithoutPlaintext" "CreateGrant" "DescribeKey" "ReEncryptFrom" "ReEncryptTo"
```
Untuk mengetahui informasi selengkapnya tentang peran terkait layanan, lihat [Menggunakan peran terkait layanan untuk Amazon FSx](using-service-linked-roles.md).
# Mengimpor perubahan dari repositori data Anda
Anda dapat mengimpor perubahan pada data dan metadata POSIX dari repositori data tertaut ke sistem file Amazon Anda. FSx Metadata POSIX terkait mencakup kepemilikan, izin, dan stempel waktu.
Untuk mengimpor perubahan ke sistem file, gunakan salah satu metode berikut:
+ Konfigurasikan sistem file Anda untuk secara otomatis mengimpor file baru, diubah, atau dihapus dari repositori data tertaut Anda. Untuk informasi selengkapnya, lihat [Secara otomatis mengimpor pembaruan dari bucket S3](autoimport-data-repo-dra.md).
+ Pilih opsi untuk mengimpor metadata saat Anda membuat asosiasi repositori data. Ini akan memulai tugas repositori data impor segera setelah membuat asosiasi repositori data.
+ Gunakan tugas repositori data impor sesuai permintaan. Untuk informasi selengkapnya, lihat [Menggunakan tugas repositori data untuk mengimpor perubahan](import-data-repo-task-dra.md).
Tugas repositori data impor dan impor otomatis dapat berjalan pada saat yang bersamaan.
Saat Anda mengaktifkan impor otomatis untuk asosiasi repositori data, sistem file Anda secara otomatis memperbarui metadata file saat objek dibuat, dimodifikasi, atau dihapus di S3. Ketika Anda memilih opsi untuk mengimpor metadata saat membuat asosiasi repositori data, sistem file Anda mengimpor metadata untuk semua objek dalam repositori data. Saat Anda mengimpor menggunakan tugas repositori data impor, sistem file Anda hanya mengimpor metadata untuk objek yang dibuat atau dimodifikasi sejak impor terakhir.
FSx untuk Lustre secara otomatis menyalin konten file dari repositori data Anda dan memuatnya ke dalam sistem fille saat aplikasi Anda pertama kali mengakses file dalam sistem file. Pergerakan data ini dikelola oleh FSx for Lustre dan transparan untuk aplikasi Anda. Pembacaan selanjutnya dari file-file ini disajikan langsung dari sistem file dengan latensi sub-milidetik.
Anda juga dapat memuat seluruh sistem file atau direktori di dalam sistem file Anda. Untuk informasi selengkapnya, lihat [Terlebih dulu memuat file ke dalam sistem file Anda](preload-file-contents-hsm-dra.md). Jika Anda meminta pramuat beberapa file secara bersamaan, FSx Lustre memuat file dari repositori data Amazon S3 Anda secara paralel.
FSx untuk Lustre hanya mengimpor objek S3 yang memiliki kunci objek yang sesuai dengan POSIX. Baik tugas repositori data impor dan impor otomatis mengimpor metadata POSIX. Untuk informasi selengkapnya, lihat [Dukungan metadata POSIX untuk repositori data](posix-metadata-support.md).
**catatan**
FSx untuk Lustre tidak mendukung pengimporan metadata untuk tautan simbolik (symlink) dari S3 Glacier Flexible Retrieval dan kelas penyimpanan S3 Glacier Deep Archive. Metadata untuk objek S3 Glacier Flexible Retrieval atau S3 Glacier Deep Archive yang bukan symlink dapat diimpor (yaitu, inode dibuat pada sistem file for Lustre dengan metadata yang benar). FSx Namun, untuk membaca data ini dari sistem file, Anda harus terlebih dahulu mengembalikan objek S3 Glacier Flexible Retrieval atau S3 Glacier Deep Archive. Mengimpor data file langsung dari objek Amazon S3 di kelas penyimpanan S3 Glacier Flexible Retrieval atau S3 Glacier Deep Archive ke for Lustre tidak didukung. FSx
# Secara otomatis mengimpor pembaruan dari bucket S3
Anda dapat mengonfigurasi FSx Lustre untuk memperbarui metadata secara otomatis di sistem file saat objek ditambahkan, diubah, atau dihapus dari bucket S3 Anda. FSx untuk Lustre membuat, memperbarui, atau menghapus daftar file dan direktori, sesuai dengan perubahan di S3. Jika objek yang diubah dalam bucket S3 tidak lagi berisi metadatanya, FSx Lustre mempertahankan nilai metadata file saat ini, termasuk izin saat ini.
**catatan**
Sistem file FSx for Lustre dan bucket S3 yang ditautkan harus berada di tempat yang sama Wilayah AWS untuk mengimpor pembaruan secara otomatis.
Anda dapat mengonfigurasi impor otomatis saat membuat asosiasi repositori data, dan Anda dapat memperbarui setelan impor otomatis kapan saja menggunakan konsol FSx manajemen, file AWS CLI, atau API. AWS
**catatan**
Anda dapat mengonfigurasi impor otomatis dan ekspor otomatis pada asosiasi repositori data yang sama. Topik ini hanya menjelaskan fitur impor otomatis.
**penting**
Jika objek dimodifikasi di S3 dengan semua kebijakan impor otomatis diaktifkan dan ekspor otomatis dinonaktifkan, konten objek itu selalu diimpor ke file yang sesuai dalam sistem file. Jika file sudah ada di lokasi target, file akan ditimpa.
Jika file dimodifikasi di sistem file dan S3, dengan semua impor otomatis dan kebijakan ekspor otomatis diaktifkan, baik file dalam sistem file atau objek di S3 dapat ditimpa oleh yang lain. Tidak dijamin bahwa pengeditan nanti di satu lokasi akan menimpa suntingan sebelumnya di lokasi lain. Jika Anda memodifikasi file yang sama di sistem file dan bucket S3, Anda harus memastikan koordinasi tingkat aplikasi untuk mencegah konflik tersebut. FSx untuk Lustre tidak mencegah penulisan yang bertentangan di beberapa lokasi.
Kebijakan impor menentukan bagaimana Anda ingin FSx agar Lustre memperbarui sistem file Anda saat konten berubah di bucket S3 yang ditautkan. Asosiasi repositori data dapat memiliki salah satu kebijakan impor berikut:
+ **Baru** - FSx untuk Lustre secara otomatis memperbarui metadata file dan direktori hanya ketika objek baru ditambahkan ke repositori data S3 yang ditautkan.
+ **Berubah** - FSx untuk Lustre secara otomatis memperbarui metadata file dan direktori hanya ketika objek yang ada di repositori data diubah.
+ **Dihapus** - FSx untuk Lustre secara otomatis memperbarui metadata file dan direktori hanya ketika objek dalam repositori data dihapus.
+ **Kombinasi apa pun dari New, Changed, dan Deleted** — FSx untuk Lustre secara otomatis memperbarui metadata file dan direktori ketika salah satu tindakan yang ditentukan terjadi di repositori data S3. Misalnya, Anda dapat menentukan bahwa sistem file diperbarui ketika objek ditambahkan ke (**Baru**) atau dihapus dari (**Dihapus**) repositori S3, tetapi tidak diperbarui ketika objek diubah.
+ **Tidak ada kebijakan yang dikonfigurasi** — FSx untuk Lustre tidak memperbarui metadata file dan direktori pada sistem file saat objek ditambahkan, diubah, atau dihapus dari repositori data S3. Jika Anda tidak mengonfigurasi kebijakan impor, impor otomatis dinonaktifkan untuk asosiasi repositori data. Anda masih dapat mengimpor perubahan metadata secara manual dengan menggunakan tugas repositori data impor, seperti yang dijelaskan dalam. [Menggunakan tugas repositori data untuk mengimpor perubahan](import-data-repo-task-dra.md)
**penting**
Impor otomatis tidak akan menyinkronkan tindakan S3 berikut dengan sistem file Lustre yang FSx ditautkan:
Menghapus objek menggunakan kedaluwarsa siklus hidup objek S3
Menghapus versi objek saat ini secara permanen dalam bucket berkemampuan versi
Membatalkan penghapusan objek dalam bucket berkemampuan versi
Untuk sebagian besar kasus penggunaan, sebaiknya Anda mengonfigurasi kebijakan impor **Baru**, **Diubah**, dan **Dihapus**. Kebijakan ini memastikan bahwa semua pembaruan yang dibuat di repositori data S3 tertaut Anda secara otomatis diimpor ke sistem file Anda.
Saat Anda menetapkan kebijakan impor untuk memperbarui file sistem file dan metadata direktori berdasarkan perubahan dalam repositori data S3 tertaut, FSx Lustre akan membuat konfigurasi notifikasi peristiwa pada bucket S3 yang ditautkan. Konfigurasi pemberitahuan acara diberi nama`FSx`. Jangan mengubah atau menghapus konfigurasi pemberitahuan `FSx` acara pada bucket S3 — hal itu akan mencegah impor otomatis file dan metadata direktori yang diperbarui ke sistem file Anda.
Ketika FSx untuk Lustre memperbarui daftar file yang telah berubah pada repositori data S3 tertaut, itu menimpa file lokal dengan versi yang diperbarui, bahkan jika file tersebut dikunci tulis.
FSx untuk Lustre melakukan upaya terbaik untuk memperbarui sistem file Anda. FSx untuk Lustre tidak dapat memperbarui sistem file dalam situasi berikut:
+ Jika FSx untuk Lustre tidak memiliki izin untuk membuka objek S3 yang diubah atau baru. Dalam hal ini, FSx untuk Lustre melewatkan objek dan melanjutkan. Status siklus hidup DRA tidak terpengaruh.
+ Jika FSx untuk Lustre tidak memiliki izin tingkat ember, seperti for. `GetBucketAcl` **Ini akan menyebabkan status siklus hidup repositori data menjadi Salah konfigurasi.** Untuk informasi selengkapnya, lihat [Status siklus hidup asosiasi repositori data](dra-lifecycles.md).
+ Jika konfigurasi pemberitahuan acara `FSx` pada bucket S3 terkait dihapus atau diubah. **Ini akan menyebabkan status siklus hidup repositori data menjadi Salah konfigurasi.** Untuk informasi selengkapnya, lihat [Status siklus hidup asosiasi repositori data](dra-lifecycles.md).
Kami menyarankan Anda [mengaktifkan CloudWatch log](cw-event-logging.md#manage-logging) ke Log untuk mencatat informasi tentang file atau direktori apa pun yang tidak dapat diimpor secara otomatis. Peringatan dan kesalahan dalam log berisi informasi tentang alasan kegagalan. Untuk informasi selengkapnya, lihat [Log peristiwa repositori data](data-repo-event-logs.md).
## Prasyarat
Ketentuan berikut diperlukan agar FSx Lustre dapat secara otomatis mengimpor file baru, diubah, atau dihapus dari bucket S3 yang ditautkan:
+ Sistem file dan bucket S3 yang ditautkan terletak di tempat yang sama Wilayah AWS.
+ **Bucket S3 tidak memiliki status Siklus Hidup yang salah dikonfigurasi.** Untuk informasi selengkapnya, lihat [Status siklus hidup asosiasi repositori data](dra-lifecycles.md).
+ Akun Anda memiliki izin yang diperlukan untuk mengkonfigurasi dan menerima pemberitahuan acara pada bucket S3 yang tertaut.
## Jenis perubahan file yang didukung
FSx untuk Lustre mendukung pengimporan perubahan berikut ke file dan direktori yang terjadi di bucket S3 yang ditautkan:
+ Perubahan pada isi file.
+ Perubahan pada metadata file atau direktori.
+ Perubahan pada target symlink atau metadata.
+ Penghapusan file dan direktori. Jika Anda menghapus objek di bucket S3 tertaut yang sesuai dengan direktori dalam sistem file (yaitu, objek dengan nama kunci yang diakhiri dengan garis miring), FSx untuk Lustre menghapus direktori yang sesuai pada sistem file hanya jika kosong.
## Memperbarui pengaturan impor
Anda dapat menyetel setelan impor sistem file untuk bucket S3 tertaut saat membuat asosiasi repositori data. Untuk informasi selengkapnya, lihat [Membuat tautan ke bucket S3](create-linked-dra.md).
Anda juga dapat memperbarui pengaturan impor kapan saja, termasuk kebijakan impor. Untuk informasi selengkapnya, lihat [Memperbarui pengaturan asosiasi repositori data](update-dra-settings.md).
## Memantau impor otomatis
Jika laju perubahan dalam bucket S3 Anda melebihi kecepatan impor otomatis dapat memproses perubahan ini, perubahan metadata terkait yang diimpor ke sistem file Lustre Anda FSx akan tertunda. Jika ini terjadi, Anda dapat menggunakan `AgeOfOldestQueuedMessage` metrik untuk memantau usia perubahan tertua yang menunggu untuk diproses oleh impor otomatis. Untuk informasi lebih lanjut tentang metrik ini, lihat[FSx untuk metrik repositori Lustre S3](fs-metrics.md#auto-import-export-metrics).
Jika penundaan dalam mengimpor metadata berubah melebihi 14 hari (yang diukur menggunakan `AgeOfOldestQueuedMessage` metrik), perubahan dalam bucket S3 Anda yang belum diproses oleh impor otomatis tidak akan diimpor ke sistem file Anda. Selain itu, siklus hidup asosiasi repositori data Anda ditandai sebagai **SALAH KONFIGURASI** dan impor otomatis dihentikan. Jika Anda mengaktifkan ekspor otomatis, ekspor otomatis terus memantau sistem file Lustre Anda FSx untuk perubahan. Namun, perubahan tambahan tidak disinkronkan dari sistem file Lustre Anda FSx ke S3.
Untuk mengembalikan asosiasi repositori data Anda dari status siklus hidup **SALAH KONFIGURASI** ke status siklus hidup **TERSEDIA**, Anda harus memperbarui asosiasi repositori data Anda. Anda dapat memperbarui asosiasi repositori data Anda menggunakan perintah [update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html)CLI (atau operasi API yang sesuai [UpdateDataRepositoryAssociation](https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateDataRepositoryAssociation.html)). Satu-satunya parameter permintaan yang Anda butuhkan adalah asosiasi repositori data yang ingin Anda perbarui. `AssociationID`
Setelah status siklus hidup asosiasi repositori data berubah menjadi **TERSEDIA**, impor otomatis (dan ekspor otomatis jika diaktifkan) dimulai ulang. Setelah memulai ulang, ekspor otomatis melanjutkan sinkronisasi perubahan sistem file ke S3. [Untuk menyinkronkan metadata objek baru dan yang diubah di S3 dengan sistem file FSx for Lustre Anda yang tidak diimpor atau berasal dari saat asosiasi repositori data berada dalam status salah konfigurasi, jalankan tugas repositori data impor.](import-data-repo-task-dra.md) Impor tugas repositori data tidak menyinkronkan penghapusan di bucket S3 Anda dengan sistem file for Lustre Anda FSx . Jika Anda ingin sepenuhnya menyinkronkan S3 dengan sistem file Anda (termasuk penghapusan), Anda harus membuat ulang sistem file Anda.
Untuk memastikan bahwa penundaan mengimpor perubahan metadata tidak melebihi 14 hari, sebaiknya Anda menyetel alarm pada `AgeOfOldestQueuedMessage` metrik dan mengurangi aktivitas di bucket S3 jika `AgeOfOldestQueuedMessage` metrik tumbuh melampaui ambang batas alarm Anda. Untuk sistem file FSx for Lustre yang terhubung ke bucket S3 dengan pecahan tunggal terus mengirimkan jumlah maksimum perubahan yang mungkin dari S3, dengan hanya impor otomatis yang berjalan pada sistem file FSx for Lustre, impor otomatis dapat memproses backlog 7 jam perubahan S3 dalam 14 hari.
Selain itu, dengan satu tindakan S3, Anda dapat menghasilkan lebih banyak perubahan daripada impor otomatis yang akan diproses dalam 14 hari. Contoh dari jenis tindakan ini termasuk, namun tidak terbatas pada, AWS Snowball upload ke S3 dan penghapusan skala besar. Jika Anda membuat perubahan skala besar pada bucket S3 yang ingin disinkronkan dengan sistem file Lustre FSx untuk Anda, untuk mencegah perubahan impor otomatis melebihi 14 hari, Anda harus menghapus sistem file Anda dan membuatnya kembali setelah perubahan S3 selesai.
Jika `AgeOfOldestQueuedMessage` metrik Anda bertambah, tinjau bucket`GetRequests`,, `PutRequests``PostRequests`, dan `DeleteRequests` metrik S3 Anda untuk perubahan aktivitas yang akan menyebabkan peningkatan and/or jumlah laju perubahan yang dikirim ke impor otomatis. Untuk informasi tentang metrik S3 yang tersedia, lihat [Memantau Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/monitoring-overview.html) di Panduan Pengguna Amazon *S3*.
Untuk daftar semua yang tersedia FSx untuk metrik Lustre, lihat. [Pemantauan CloudWatch dengan Amazon](monitoring-cloudwatch.md)
# Menggunakan tugas repositori data untuk mengimpor perubahan
Tugas repositori data impor mengimpor metadata objek yang baru atau diubah dalam repositori data S3 Anda, membuat daftar file atau direktori baru untuk objek baru apa pun di repositori data S3. Untuk objek apa pun yang telah diubah dalam repositori data, daftar file atau direktori yang sesuai diperbarui dengan metadata baru. Tidak ada tindakan yang diambil untuk objek yang telah dihapus dari repositori data.
Gunakan prosedur berikut untuk mengimpor perubahan metadata menggunakan FSx konsol Amazon dan CLI. Perhatikan bahwa Anda dapat menggunakan satu tugas repositori data untuk beberapa. DRAs
## Untuk mengimpor perubahan metadata (konsol)
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Pada panel navigasi, pilih **Sistem file**, lalu pilih sistem Lustre file Anda.
1. Pilih tab **Repositori data**.
1. Di panel **Asosiasi repositori data, pilih asosiasi** repositori data yang ingin Anda buat tugas impor.
1. Dari menu **Tindakan**, pilih **Impor tugas**. Pilihan ini tidak tersedia jika sistem file tidak ditautkan ke repositori data. Halaman **tugas Create import data repository muncul**.
1. (Opsional) Tentukan hingga 32 direktori atau file yang akan diimpor dari bucket S3 tertaut Anda dengan menyediakan jalur ke direktori atau file tersebut di jalur **repositori Data** untuk diimpor.
**catatan**
Jika jalan yang Anda berikan tidak valid, tugas gagal.
1. (Opsional) Pilih **Aktifkan** di **Laporan penyelesaian** untuk membuat laporan penyelesaian tugas setelah tugas selesai. *Laporan penyelesaian tugas* menyediakan detail tentang file yang diproses oleh tugas yang memenuhi lingkup yang disediakan di **Lingkup laporan**. **Untuk menentukan lokasi Amazon FSx untuk mengirimkan laporan, masukkan jalur relatif pada repositori data S3 tertaut untuk jalur Laporan.**
1. Pilih **Buat**.
Pemberitahuan di bagian atas halaman **Sistem file** menampilkan tugas yang baru saja Anda buat dalam proses.
Untuk melihat status tugas dan detail, gulir ke bawah ke panel **Tugas Repositori Data** di tab **Repositori Data** untuk sistem file. Urutan default menampilkan tugas terbaru di bagian atas daftar.
Untuk melihat ringkasan tugas dari halaman ini, pilih **ID tugas** untuk tugas yang baru saja Anda buat. Halaman **Ringkasan** untuk tugas muncul.
## Untuk mengimpor perubahan metadata (CLI)
+ Gunakan perintah [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html)CLI untuk mengimpor perubahan metadata pada sistem file FSx for Lustre Anda. Operasi API yang sesuai adalah [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html).
```
$ aws fsx create-data-repository-task \
--file-system-id fs-0123456789abcdef0 \
--type IMPORT_METADATA_FROM_REPOSITORY \
--paths s3://bucketname1/dir1/path1 \
--report Enabled=true,Path=s3://bucketname1/dir1/path1,Format=REPORT_CSV_20191124,Scope=FAILED_FILES_ONLY
```
Setelah berhasil membuat tugas repositori data, Amazon FSx mengembalikan deskripsi tugas sebagai JSON.
Setelah membuat tugas untuk mengimpor metadata dari repositori data tertaut, Anda dapat memeriksa status tugas repositori data impor. Untuk informasi selengkapnya tentang melihat tugas repositori data, lihat [Mengakses tugas repositori data](view-data-repo-tasks.md).
# Terlebih dulu memuat file ke dalam sistem file Anda
Anda dapat secara opsional memuat konten file individual atau direktori ke dalam sistem file Anda.
## Mengimpor file menggunakan perintah HSM
Amazon FSx menyalin data dari repositori data Amazon S3 Anda saat file pertama kali diakses. Karena pendekatan ini, pembacaan atau penulisan awal ke file menimbulkan sejumlah kecil latensi. Jika aplikasi Anda sensitif terhadap latensi ini, dan Anda tahu file atau direktori mana yang aplikasinya perlu akses, Anda dapat memilih terlebih dulu memuat isi file individu atau direktori. Anda melakukannya dengan menggunakan perintah `hsm_restore`, sebagai berikut.
Anda dapat menggunakan perintah `hsm_action` (yang dikeluarkan dengan utilitas pengguna `lfs`) untuk memverifikasi bahwa isi file telah selesai dimuat ke dalam sistem file. Sebuah nilai kembali `NOOP` menunjukkan bahwa file telah berhasil dimuat. Jalankan perintah berikut dari instans komputasi dengan sistem file yang terpasang. Ganti *path/to/file* dengan jalur file yang Anda preloading ke sistem file Anda.
```
sudo lfs hsm_restore path/to/file
sudo lfs hsm_action path/to/file
```
Anda dapat terlebih dulu memuat seluruh sistem file Anda atau seluruh direktori dalam sistem file Anda dengan menggunakan perintah berikut. (tanda ampersand yang mengikuti membuat perintah dijalankan sebagai proses latar belakang.) Jika Anda meminta pramuat beberapa file secara bersamaan, Amazon FSx memuat file Anda dari repositori data Amazon S3 Anda secara paralel. Jika file telah dimuat ke sistem file, `hsm_restore` perintah tidak memuat ulang.
```
nohup find local/directory -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore &
```
**catatan**
Jika bucket S3 tertaut Anda lebih besar dari sistem file Anda, Anda harus dapat mengimpor semua metadata file ke dalam sistem file Anda. Namun, Anda hanya dapat memuat sebanyak data file aktual yang akan muat ke dalam ruang penyimpanan sistem file yang tersisa. Anda akan menerima pesan kesalahan jika mencoba mengakses data file saat tidak ada lagi penyimpanan yang tersisa di sistem file. Jika ini terjadi, Anda dapat meningkatkan jumlah kapasitas penyimpanan sesuai kebutuhan. Untuk informasi selengkapnya, lihat [Mengelola kapasitas penyimpanan](managing-storage-capacity.md).
## Langkah validasi
Anda dapat menjalankan skrip bash yang tercantum di bawah ini untuk membantu Anda menemukan berapa banyak file atau objek dalam keadaan diarsipkan (dirilis).
Untuk meningkatkan kinerja skrip, terutama di seluruh sistem file dengan sejumlah besar file, thread CPU secara otomatis ditentukan berdasarkan `/proc/cpuproc` file. Artinya, Anda akan melihat kinerja yang lebih cepat dengan jumlah vCPU yang lebih tinggi instans Amazon EC2.
1. Siapkan skrip bash.
```
#!/bin/bash
# Check if a directory argument is provided
if [ $# -ne 1 ]; then
echo "Usage: $0 /path/to/lustre/mount"
exit 1
fi
# Set the root directory from the argument
ROOT_DIR="$1"
# Check if the provided directory exists
if [ ! -d "$ROOT_DIR" ]; then
echo "Error: Directory $ROOT_DIR does not exist."
exit 1
fi
# Automatically detect number of CPUs and set threads
if command -v nproc &> /dev/null; then
THREADS=$(nproc)
elif [ -f /proc/cpuinfo ]; then
THREADS=$(grep -c ^processor /proc/cpuinfo)
else
echo "Unable to determine number of CPUs. Defaulting to 1 thread."
THREADS=1
fi
# Output file
OUTPUT_FILE="released_objects_$(date +%Y%m%d_%H%M%S).txt"
echo "Searching in $ROOT_DIR for all released objects using $THREADS threads"
echo "This may take a while depending on the size of the filesystem..."
# Find all released files in the specified lustre directory using parallel
# If you get false positives for file names/paths that include the word 'released',
# you can grep 'released exists archived' instead of just 'released'
time sudo lfs find "$ROOT_DIR" -type f | \
parallel --will-cite -j "$THREADS" -n 1000 "sudo lfs hsm_state {} | grep released" > "$OUTPUT_FILE"
echo "Search complete. Released objects are listed in $OUTPUT_FILE"
echo "Total number of released objects: $(wc -l <"$OUTPUT_FILE")"
```
1. Jadikan skrip dapat dieksekusi:
```
$ chmod +x find_lustre_released_files.sh
```
1. Jalankan skrip, seperti pada contoh berikut:
```
$ ./find_lustre_released_files.sh /fsxl/sample
Searching in /fsxl/sample for all released objects using 16 threads
This may take a while depending on the size of the filesystem...
real 0m9.906s
user 0m1.502s
sys 0m5.653s
Search complete. Released objects are listed in released_objects_20241121_184537.txt
Total number of released objects: 30000
```
Jika ada objek yang dirilis, maka lakukan pemulihan massal pada direktori yang diinginkan untuk membawa file ke FSx Lustre dari S3, seperti pada contoh berikut:
```
$ DIR=/path/to/lustre/mount
$ nohup find $DIR -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore &
```
Perhatikan bahwa `hsm_restore` akan memakan waktu beberapa saat di mana ada jutaan file.
# Mengekspor perubahan ke repositori data
Anda dapat mengekspor perubahan ke data dan perubahan metadata POSIX dari sistem file FSx for Lustre Anda ke repositori data tertaut. Metadata POSIX terkait mencakup kepemilikan, izin, dan stempel waktu.
Untuk mengekspor perubahan dari sistem file, gunakan salah satu metode berikut.
+ Konfigurasikan sistem file Anda untuk secara otomatis mengekspor file baru, diubah, atau dihapus ke repositori data tertaut Anda. Untuk informasi selengkapnya, lihat [Ekspor pembaruan ke bucket S3 Anda secara otomatis](autoexport-data-repo-dra.md).
+ Gunakan tugas repositori data ekspor sesuai permintaan. Untuk informasi selengkapnya, lihat [Menggunakan tugas repositori data untuk mengekspor perubahan](export-data-repo-task-dra.md)
Tugas repositori data ekspor dan ekspor otomatis tidak dapat berjalan secara bersamaan.
**penting**
Ekspor otomatis tidak akan menyinkronkan operasi metadata berikut pada sistem file Anda dengan S3 jika objek yang sesuai disimpan di S3 Glacier Flexible Retrieval:
chmod
tercekik
ganti nama
Saat Anda mengaktifkan ekspor otomatis untuk asosiasi repositori data, sistem file Anda secara otomatis mengekspor data file dan perubahan metadata saat file dibuat, dimodifikasi, atau dihapus. Saat Anda mengekspor file atau direktori menggunakan tugas repositori data ekspor, sistem file Anda hanya mengekspor file data dan metadata yang dibuat atau dimodifikasi sejak ekspor terakhir.
Baik tugas repositori data ekspor dan ekspor otomatis mengekspor metadata POSIX. Untuk informasi selengkapnya, lihat [Dukungan metadata POSIX untuk repositori data](posix-metadata-support.md).
**penting**
Untuk memastikan bahwa FSx Lustre dapat mengekspor data Anda ke bucket S3 Anda, itu harus disimpan dalam format yang kompatibel dengan UTF-8.
Tombol objek S3 memiliki panjang maksimum 1.024 byte. FSx untuk Lustre tidak akan mengekspor file yang kunci objek S3 yang sesuai akan lebih panjang dari 1.024 byte.
**catatan**
Semua objek yang dibuat oleh tugas repositori data ekspor dan ekspor otomatis ditulis menggunakan kelas penyimpanan Standar S3.
**Topics**
+ [Ekspor pembaruan ke bucket S3 Anda secara otomatis](autoexport-data-repo-dra.md)
+ [Menggunakan tugas repositori data untuk mengekspor perubahan](export-data-repo-task-dra.md)
+ [Mengekspor file menggunakan perintah HSM](exporting-files-hsm.md)
# Ekspor pembaruan ke bucket S3 Anda secara otomatis
Anda dapat mengonfigurasi sistem file Lustre untuk memperbarui konten bucket S3 yang ditautkan secara otomatis saat file ditambahkan, diubah, atau dihapus pada sistem file. FSx FSx untuk Lustre membuat, memperbarui, atau menghapus objek di S3, sesuai dengan perubahan dalam sistem file.
**catatan**
Ekspor otomatis tidak tersedia FSx untuk sistem file Lustre 2.10 atau `Scratch 1` sistem file.
Anda dapat mengekspor ke repositori data yang Wilayah AWS sama dengan sistem file atau yang berbeda. Wilayah AWS
Anda dapat mengonfigurasi ekspor otomatis saat membuat asosiasi repositori data dan memperbarui pengaturan ekspor otomatis kapan saja menggunakan konsol FSx manajemen, AWS CLI, dan API. AWS
**penting**
Jika file dimodifikasi dalam sistem file dengan semua kebijakan ekspor otomatis diaktifkan dan impor otomatis dinonaktifkan, konten file itu selalu diekspor ke objek yang sesuai di S3. Jika objek sudah ada di lokasi target, objek akan ditimpa.
Jika file dimodifikasi di sistem file dan S3, dengan semua impor otomatis dan kebijakan ekspor otomatis diaktifkan, baik file dalam sistem file atau objek di S3 dapat ditimpa oleh yang lain. Tidak dijamin bahwa pengeditan nanti di satu lokasi akan menimpa suntingan sebelumnya di lokasi lain. Jika Anda memodifikasi file yang sama di sistem file dan bucket S3, Anda harus memastikan koordinasi tingkat aplikasi untuk mencegah konflik tersebut. FSx untuk Lustre tidak mencegah penulisan yang bertentangan di beberapa lokasi.
Kebijakan ekspor menentukan bagaimana Anda ingin FSx Lustre memperbarui bucket S3 tertaut saat konten berubah dalam sistem file. Asosiasi repositori data dapat memiliki salah satu kebijakan ekspor otomatis berikut:
+ **Baru** — FSx untuk Lustre secara otomatis memperbarui repositori data S3 hanya ketika file, direktori, atau symlink baru dibuat pada sistem file.
+ **Berubah** - FSx untuk Lustre secara otomatis memperbarui repositori data S3 hanya ketika file yang ada dalam sistem file diubah. Untuk perubahan konten file, file harus ditutup sebelum disebarkan ke repositori S3. Perubahan metadata (ganti nama, kepemilikan, izin, dan stempel waktu) disebarkan saat operasi selesai. Untuk mengubah nama perubahan (termasuk pemindahan), objek S3 yang ada (telah diganti namanya) dihapus dan objek S3 baru dibuat dengan nama baru.
+ **Dihapus** - FSx untuk Lustre secara otomatis memperbarui repositori data S3 hanya ketika file, direktori, atau symlink dihapus dalam sistem file.
+ **Kombinasi apa pun dari New, Changed, dan Deleted** — FSx untuk Lustre secara otomatis memperbarui repositori data S3 ketika salah satu tindakan yang ditentukan terjadi dalam sistem file. Misalnya, Anda dapat menentukan bahwa repositori S3 diperbarui ketika file ditambahkan ke (**Baru**) atau dihapus dari (**Dihapus**) sistem file, tetapi tidak ketika file diubah.
+ **Tidak ada kebijakan yang dikonfigurasi** — FSx untuk Lustre tidak secara otomatis memperbarui repositori data S3 ketika file ditambahkan ke, diubah, atau dihapus dari sistem file. Jika Anda tidak mengonfigurasi kebijakan ekspor, ekspor otomatis akan dinonaktifkan. Anda masih dapat mengekspor perubahan secara manual dengan menggunakan tugas repositori data ekspor, seperti yang dijelaskan dalam. [Menggunakan tugas repositori data untuk mengekspor perubahan](export-data-repo-task-dra.md)
Untuk sebagian besar kasus penggunaan, sebaiknya Anda mengonfigurasi kebijakan ekspor **New**, **Changed**, dan **Deleted**. Kebijakan ini memastikan bahwa semua pembaruan yang dilakukan pada sistem file Anda secara otomatis diekspor ke repositori data S3 tertaut Anda.
Kami menyarankan Anda [mengaktifkan CloudWatch log](cw-event-logging.md#manage-logging) ke Log untuk mencatat informasi tentang file atau direktori apa pun yang tidak dapat diekspor secara otomatis. Peringatan dan kesalahan dalam log berisi informasi tentang alasan kegagalan. Untuk informasi selengkapnya, lihat [Log peristiwa repositori data](data-repo-event-logs.md).
**catatan**
Sementara waktu akses (`atime`) dan waktu modifikasi (`mtime`) disinkronkan dengan S3 selama operasi ekspor, perubahan pada stempel waktu ini saja tidak memicu ekspor otomatis. Hanya perubahan pada konten file atau metadata lainnya (seperti kepemilikan atau izin) yang akan memicu ekspor otomatis ke S3.
## Memperbarui pengaturan ekspor
Anda dapat menyetel setelan ekspor sistem file ke bucket S3 yang ditautkan saat membuat asosiasi repositori data. Untuk informasi selengkapnya, lihat [Membuat tautan ke bucket S3](create-linked-dra.md).
Anda juga dapat memperbarui pengaturan ekspor kapan saja, termasuk kebijakan ekspor. Untuk informasi selengkapnya, lihat [Memperbarui pengaturan asosiasi repositori data](update-dra-settings.md).
## Memantau ekspor otomatis
Anda dapat memantau asosiasi repositori data yang diaktifkan ekspor otomatis menggunakan satu set metrik yang dipublikasikan ke Amazon. CloudWatch `AgeOfOldestQueuedMessage`Metrik mewakili usia pembaruan tertua yang dibuat untuk sistem file yang belum diekspor ke S3. Jika `AgeOfOldestQueuedMessage` lebih besar dari nol untuk jangka waktu yang lama, kami sarankan untuk sementara mengurangi jumlah perubahan (penggantian nama direktori khususnya) yang secara aktif sedang dibuat ke sistem file sampai antrian pesan telah berkurang. Untuk informasi selengkapnya, lihat [FSx untuk metrik repositori Lustre S3](fs-metrics.md#auto-import-export-metrics).
**penting**
Saat menghapus asosiasi repositori data atau sistem file dengan ekspor otomatis diaktifkan, Anda harus terlebih dahulu memastikan bahwa `AgeOfOldestQueuedMessage` itu nol, artinya tidak ada perubahan yang belum diekspor. Jika `AgeOfOldestQueuedMessage` lebih besar dari nol saat Anda menghapus asosiasi repositori data atau sistem file, perubahan yang belum diekspor tidak akan mencapai bucket S3 tertaut Anda. Untuk menghindari hal ini, tunggu `AgeOfOldestQueuedMessage` hingga mencapai nol sebelum menghapus asosiasi repositori data atau sistem file Anda.
# Menggunakan tugas repositori data untuk mengekspor perubahan
Tugas repositori data ekspor mengekspor file yang baru atau diubah dalam sistem file Anda. Ini menciptakan objek baru di S3 untuk file baru pada sistem file. Untuk file apa pun yang telah dimodifikasi pada sistem file, atau yang metadatanya telah dimodifikasi, objek yang sesuai di S3 diganti dengan objek baru dengan data dan metadata baru. Tidak ada tindakan yang diambil untuk file yang telah dihapus dari sistem file.
**catatan**
Ingatlah hal berikut saat menggunakan tugas repositori data ekspor:
Penggunaan wildcard untuk menyertakan atau mengecualikan file untuk ekspor tidak didukung.
Saat melakukan `mv` operasi, file target setelah dipindahkan akan diekspor ke S3 meskipun tidak ada UID, GID, izin, atau perubahan konten.
Gunakan prosedur berikut untuk mengekspor data dan perubahan metadata pada sistem file ke bucket S3 tertaut menggunakan konsol FSx Amazon dan CLI. Perhatikan bahwa Anda dapat menggunakan satu tugas repositori data untuk beberapa. DRAs
## Untuk mengekspor perubahan (konsol)
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Pada panel navigasi, pilih **Sistem file**, lalu pilih sistem Lustre file Anda.
1. Pilih tab **Repositori data**.
1. Di panel **Asosiasi repositori data, pilih asosiasi** repositori data yang ingin Anda buat tugas ekspor.
1. Untuk **Tindakan**, pilih **tugas Ekspor**. Pilihan ini tidak tersedia jika sistem file tidak ditautkan ke repositori data di S3. Dialog **tugas repositori data ekspor** akan muncul.
1. (Opsional) Tentukan hingga 32 direktori atau file yang akan diekspor dari sistem FSx file Amazon Anda dengan menyediakan jalur ke direktori atau file tersebut di **jalur sistem File untuk** diekspor. Jalur yang Anda berikan harus relatif terhadap titik pemasangan dari sistem file. Jika titik pemasangan adalah `/mnt/fsx` dan `/mnt/fsx/path1` adalah direktori atau file pada sistem file yang ingin Anda ekspor, maka jalur untuk menyediakan adalah `path1`.
**catatan**
Jika jalan yang Anda berikan tidak valid, tugas gagal.
1. (Opsional) Pilih **Aktifkan** di **Laporan penyelesaian** untuk membuat laporan penyelesaian tugas setelah tugas selesai. *Laporan penyelesaian tugas* menyediakan detail tentang file yang diproses oleh tugas yang memenuhi lingkup yang disediakan di **Lingkup laporan**. **Untuk menentukan lokasi Amazon FSx untuk mengirimkan laporan, masukkan jalur relatif pada repositori data S3 tertaut sistem file untuk jalur Laporan.**
1. Pilih **Buat**.
Pemberitahuan di bagian atas halaman **Sistem file** menampilkan tugas yang baru saja Anda buat dalam proses.
Untuk melihat status tugas dan detail, gulir ke bawah ke panel **Tugas Repositori Data** di tab **Repositori Data** untuk sistem file. Urutan default menampilkan tugas terbaru di bagian atas daftar.
Untuk melihat ringkasan tugas dari halaman ini, pilih **ID tugas** untuk tugas yang baru saja Anda buat. Halaman **Ringkasan** untuk tugas muncul.
## Untuk mengekspor perubahan (CLI)
+ Gunakan perintah [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html)CLI untuk mengekspor data dan perubahan metadata pada sistem file FSx for Lustre Anda. Operasi API yang sesuai adalah [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html).
```
$ aws fsx create-data-repository-task \
--file-system-id fs-0123456789abcdef0 \
--type EXPORT_TO_REPOSITORY \
--paths path1,path2/file1 \
--report Enabled=true
```
Setelah berhasil membuat tugas repositori data, Amazon FSx mengembalikan deskripsi tugas sebagai JSON, seperti yang ditunjukkan pada contoh berikut.
```
{
"Task": {
"TaskId": "task-123f8cd8e330c1321",
"Type": "EXPORT_TO_REPOSITORY",
"Lifecycle": "PENDING",
"FileSystemId": "fs-0123456789abcdef0",
"Paths": ["path1", "path2/file1"],
"Report": {
"Path":"s3://dataset-01/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"CreationTime": "1545070680.120",
"ClientRequestToken": "10192019-drt-12",
"ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321"
}
}
```
Setelah membuat tugas untuk mengekspor data ke repositori data tertaut, Anda dapat memeriksa status tugas repositori data ekspor. Untuk informasi selengkapnya tentang melihat tugas repositori data, lihat [Mengakses tugas repositori data](view-data-repo-tasks.md).
# Mengekspor file menggunakan perintah HSM
**catatan**
Untuk mengekspor perubahan dalam data dan metadata sistem file Lustre Anda FSx ke repositori data tahan lama di Amazon S3, gunakan fitur ekspor otomatis yang dijelaskan di. [Ekspor pembaruan ke bucket S3 Anda secara otomatis](autoexport-data-repo-dra.md) Anda juga dapat menggunakan tugas repositori data ekspor, dijelaskan dalam. [Menggunakan tugas repositori data untuk mengekspor perubahan](export-data-repo-task-dra.md)
Untuk mengekspor file individual ke repositori data Anda dan memverifikasi bahwa file telah berhasil diekspor ke repositori data Anda, Anda dapat menjalankan perintah yang ditampilkan berikut. Sebuah nilai kembali `states: (0x00000009) exists archived` menunjukkan bahwa file telah berhasil diekspor.
```
sudo lfs hsm_archive path/to/export/file
sudo lfs hsm_state path/to/export/file
```
**catatan**
Anda harus menjalankan perintah HSM (seperti`hsm_archive`) sebagai pengguna root atau menggunakan`sudo`.
Untuk mengekspor seluruh sistem file Anda atau seluruh direktori dalam sistem file Anda, jalankan perintah berikut. Jika Anda mengekspor beberapa file secara bersamaan, Amazon FSx for Lustre mengekspor file Anda ke repositori data Amazon S3 Anda secara paralel.
```
nohup find local/directory -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
```
Untuk menentukan apakah ekspor telah selesai, jalankan perintah berikut.
```
find path/to/export/file -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_state | awk '!/\/ || /\/' | wc -l
```
Jika perintah kembali dengan nol file yang tersisa, ekspor selesai.
# Tugas repositori data
Dengan menggunakan tugas repositori data impor dan ekspor, Anda dapat mengelola transfer data dan metadata antara sistem file FSx for Lustre dan repositori data tahan lama di Amazon S3.
*Tugas repositori data* mengoptimalkan transfer data dan metadata antara sistem file FSx for Lustre Anda dan repositori data di S3. Salah satu cara mereka melakukan ini adalah dengan melacak perubahan antara sistem FSx file Amazon Anda dan repositori data tertaut. Mereka juga melakukan ini dengan menggunakan teknik transfer paralel untuk mentransfer data dengan kecepatan hingga ratusan GBps. Anda membuat dan melihat tugas repositori data menggunakan FSx konsol Amazon, API Amazon AWS CLI, dan Amazon FSx .
Tugas repositori data mempertahankan sistem file dari metadata Antarmuka Sistem Operasi Portabel (POSIX), termasuk kepemilikan, izin, dan timestamp. Karena tugas mempertahankan metadata ini, Anda dapat menerapkan dan memelihara kontrol akses antara sistem file FSx for Lustre dan repositori data tertautnya.
Anda dapat menggunakan tugas repositori data rilis untuk mengosongkan ruang sistem file untuk file baru dengan merilis file yang diekspor ke Amazon S3. Konten file yang dirilis dihapus, tetapi metadata file yang dirilis tetap ada di sistem file. Pengguna dan aplikasi masih dapat mengakses file yang dirilis dengan membaca file lagi. Saat pengguna atau aplikasi membaca file yang dirilis, FSx untuk Lustre secara transparan mengambil konten file dari Amazon S3.
## Jenis-jenis tugas repositori data
Ada tiga jenis tugas repositori data:
+ **Ekspor** tugas repositori data ekspor dari sistem Lustre file Anda ke bucket S3 yang ditautkan.
+ **Impor** tugas repositori data yang diimpor dari bucket S3 tertaut ke sistem file AndaLustre.
+ Tugas repositori data **rilis** rilis file yang diekspor ke bucket S3 tertaut dari sistem file Anda. Lustre
Untuk informasi selengkapnya, lihat [Membuat tugas repositori data](creating-data-repo-task.md).
**Topics**
+ [Jenis-jenis tugas repositori data](#data-repo-task-types)
+ [Memahami status dan detail tugas](data-repo-task-status.md)
+ [Menggunakan tugas repositori data](managing-data-repo-task.md)
+ [Bekerja dengan laporan penyelesaian tugas](task-completion-report.md)
+ [Memecahkan masalah kegagalan tugas repositori data](failed-tasks.md)
# Memahami status dan detail tugas
Tugas repositori data memiliki informasi deskriptif dan status siklus hidup.
Setelah tugas dibuat, Anda dapat melihat informasi terperinci berikut untuk tugas repositori data menggunakan FSx konsol Amazon, CLI, atau API:
+ Jenis tugas:
+ `EXPORT_TO_REPOSITORY`menunjukkan tugas ekspor.
+ `IMPORT_METADATA_FROM_REPOSITORY`menunjukkan tugas impor.
+ `RELEASE_DATA_FROM_FILESYSTEM`menunjukkan tugas rilis.
+ Sistem file tempat tugas dikerjakan.
+ Waktu pengerjaan tugas.
+ Status tugas.
+ Jumlah total file yang tugasnya diproses.
+ Jumlah total file yang tugasnya berhasil diproses.
+ Jumlah total file yang tugasnya gagal diproses. Nilai ini lebih besar dari nol ketika status tugas GAGAL. Informasi mendetail tentang file-file yang gagal ada di laporan penyelesaian tugas. Untuk informasi selengkapnya, lihat [Bekerja dengan laporan penyelesaian tugas](task-completion-report.md).
+ Waktu ketika tugas dimulai.
+ Waktu ketika status tugas terakhir diperbarui. Status tugas diperbarui setiap 30 detik.
Sebuah tugas repositori data dapat memiliki salah satu dari status-status berikut:
+ **PENDING** menunjukkan bahwa Amazon FSx belum memulai tugas.
+ **EKSEKUSI** menunjukkan bahwa Amazon FSx sedang memproses tugas.
+ **GAGAL** menunjukkan bahwa Amazon FSx tidak berhasil memproses tugas. Sebagai contoh, kemungkinan ada file-file yang tugasnya gagal diproses. Detail tugas memberikan informasi lebih lanjut tentang kegagalan tugas. Untuk informasi selengkapnya tentang tugas yang gagal, lihat [Memecahkan masalah kegagalan tugas repositori data](failed-tasks.md).
+ **BERHASIL** menunjukkan bahwa Amazon FSx menyelesaikan tugas dengan sukses.
+ **DIBATALKAN** menunjukkan bahwa tugas dibatalkan dan tidak terselesaikan.
+ **PEMBATALAN** menunjukkan bahwa Amazon FSx sedang dalam proses membatalkan tugas.
Informasi tugas repositori data disimpan selama 14 hari setelah tugas selesai. Untuk informasi selengkapnya tentang mengakses tugas repositori data yang ada, lihat [Mengakses tugas repositori data](view-data-repo-tasks.md).
# Menggunakan tugas repositori data
Di bagian berikut, Anda dapat menemukan informasi terperinci tentang mengelola tugas repositori data. Anda dapat membuat, menduplikasi, melihat detail, dan membatalkan tugas repositori data menggunakan konsol Amazon FSx , CLI, atau API.
**Topics**
+ [Membuat tugas repositori data](creating-data-repo-task.md)
+ [Menduplikasi sebuah tugas](recreate-task.md)
+ [Mengakses tugas repositori data](view-data-repo-tasks.md)
+ [Membatalkan tugas repositori data](cancel-data-repo-task.md)
# Membuat tugas repositori data
Anda dapat membuat tugas repositori data dengan menggunakan FSx konsol Amazon, CLI, atau API. Setelah Anda membuat tugas, Anda dapat melihat kemajuan dan status pengerjaan tugas dengan menggunakan konsol tersebut, CLI, atau API.
Anda dapat membuat tiga jenis tugas repositori data:
+ Tugas repositori data **ekspor mengekspor** dari sistem Lustre file Anda ke bucket S3 yang ditautkan. Untuk informasi selengkapnya, lihat [Menggunakan tugas repositori data untuk mengekspor perubahan](export-data-repo-task-dra.md).
+ Tugas **Impor** data repositori mengimpor dari bucket S3 tertaut ke sistem file Anda. Lustre Untuk informasi selengkapnya, lihat [Menggunakan tugas repositori data untuk mengimpor perubahan](import-data-repo-task-dra.md).
+ Tugas repositori data **rilis** merilis file dari sistem Lustre file Anda yang telah diekspor ke bucket S3 tertaut. Untuk informasi selengkapnya, lihat [Menggunakan tugas repositori data untuk merilis file](release-files-task.md).
# Menduplikasi sebuah tugas
Anda dapat menduplikasi tugas repositori data yang ada di konsol Amazon. FSx Saat Anda menduplikasi tugas, salinan persis dari tugas yang ada ditampilkan di tugas **Buat repositori data impor atau Buat halaman tugas repositori** **data ekspor**. Anda dapat membuat perubahan pada jalur untuk mengekspor atau mengimpor, sesuai kebutuhan, sebelum membuat dan menjalankan tugas baru.
**catatan**
Permintaan untuk menjalankan tugas duplikat akan gagal jika salinan persis tugas itu sudah berjalan. Salinan persis tugas yang sudah berjalan berisi jalur atau jalur sistem file yang sama dalam kasus tugas ekspor atau jalur repositori data yang sama dalam kasus tugas impor.
**Anda dapat menduplikasi tugas dari tampilan detail tugas, panel Tugas **Repositori Data di tab Repositori Data untuk sistem file, atau dari halaman tugas** **repositori** data.**
**Untuk menduplikasi tugas yang ada**
1. Pilih tugas pada panel **Tugas Repositori Data** di tab **Repositori Data** untuk sistem file.
1. Pilih **Tugas duplikasi**. Bergantung pada jenis tugas yang Anda pilih, tugas **Buat repositori data impor atau Buat halaman tugas** **repositori data ekspor** muncul. Semua pengaturan untuk tugas baru identik dengan tugas yang Anda duplikasi.
1. Ubah atau tambahkan jalur yang ingin Anda impor atau ekspor.
1. Pilih **Buat**.
# Mengakses tugas repositori data
Setelah Anda membuat tugas repositori data, Anda dapat mengakses tugas, dan semua tugas yang ada di akun Anda, menggunakan FSx konsol Amazon, CLI, dan API. Amazon FSx menyediakan informasi tugas terperinci berikut:
+ Semua tugas yang ada.
+ Semua tugas untuk sistem file tertentu.
+ Semua tugas untuk asosiasi repositori data tertentu.
+ Semua tugas dengan status siklus hidup tertentu. Untuk informasi selengkapnya tentang nilai status siklus hidup tugas, lihat [Memahami status dan detail tugas](data-repo-task-status.md).
Anda dapat mengakses semua tugas repositori data yang ada di akun Anda dengan menggunakan FSx konsol Amazon, CLI, atau API, seperti yang dijelaskan berikut.
## Untuk melihat tugas repositori data dan detail tugas (konsol)
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Pada panel navigasi, pilih sistem file yang ingin Anda lihat tugas repositori data. Halaman detail sistem file akan muncul.
1. Pada halaman detail sistem file, pilih tab **Repositori data**. Setiap tugas untuk sistem file ini muncul di panel **tugas repositori data**.
1. Untuk melihat detail tugas, pilih **ID Tugas** atau **Nama tugas** di panel **tugas repositori data**. Halaman detail tugas akan muncul.
![\[Halaman tugas repositori data\]](http://docs.aws.amazon.com/id_id/fsx/latest/LustreGuide/images/task-details-rprt.png)
## Untuk mengambil tugas repositori data dan detail tugas (CLI)
Dengan menggunakan perintah Amazon FSx [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-data-repository-tasks.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-data-repository-tasks.html)CLI, Anda dapat melihat semua tugas repositori data, dan detailnya, di akun Anda. [https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeDataRepositoryTasks.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeDataRepositoryTasks.html)adalah perintah API yang setara.
+ Gunakan perintah berikut untuk menampilkan semua objek tugas repositori data di akun Anda.
```
aws fsx describe-data-repository-tasks
```
Jika perintah berhasil, Amazon FSx mengembalikan respons dalam format JSON.
```
{
"DataRepositoryTasks": [
{
"Lifecycle": "EXECUTING",
"Paths": [],
"Report": {
"Path":"s3://dataset-01/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"StartTime": 1591863862.288,
"EndTime": ,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef3",
"Status": {
"SucceededCount": 4255,
"TotalCount": 4200,
"FailedCount": 55,
"LastUpdatedTime": 1571863875.289
},
"FileSystemId": "fs-0123456789a7",
"CreationTime": 1571863850.075,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef3"
},
{
"Lifecycle": "FAILED",
"Paths": [],
"Report": {
"Enabled": false,
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef1",
"Status": {
"SucceededCount": 1153,
"TotalCount": 1156,
"FailedCount": 3,
"LastUpdatedTime": 1571863875.289
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1571863850.075,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
},
{
"Lifecycle": "SUCCEEDED",
"Paths": [],
"Report": {
"Path":"s3://dataset-04/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-04299453935122318",
"Status": {
"SucceededCount": 258,
"TotalCount": 258,
"FailedCount": 0,
"LastUpdatedTime": 1771848950.012,
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1771848950.012,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
}
]
}
```
## Melihat tugas berdasarkan sistem file
Anda dapat melihat semua tugas untuk sistem file tertentu menggunakan FSx konsol Amazon, CLI, atau API, seperti yang dijelaskan berikut.
### Untuk menampilkan tugas berdasarkan sistem file (konsol)
1. Pilih **Sistem file** pada panel navigasi. Halaman **Sistem file** akan muncul.
1. Pilih sistem file yang ingin Anda lihat tugas repositori data-nya. Halaman detail sistem file akan muncul.
1. Pada halaman detail sistem file, pilih tab **Repositori data**. Setiap tugas untuk sistem file ini muncul di panel **tugas repositori data**.
### Untuk mengambil tugas berdasarkan sistem file (CLI)
+ Gunakan perintah berikut untuk menampilkan semua tugas repositori data untuk sistem file `fs-0123456789abcdef0`.
```
aws fsx describe-data-repository-tasks \
--filters Name=file-system-id,Values=fs-0123456789abcdef0
```
Jika perintah berhasil, Amazon FSx mengembalikan respons dalam format JSON.
```
{
"DataRepositoryTasks": [
{
"Lifecycle": "FAILED",
"Paths": [],
"Report": {
"Path":"s3://dataset-04/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef1",
"Status": {
"SucceededCount": 1153,
"TotalCount": 1156,
"FailedCount": 3,
"LastUpdatedTime": 1571863875.289
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1571863850.075,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
},
{
"Lifecycle": "SUCCEEDED",
"Paths": [],
"Report": {
"Enabled": false,
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef0",
"Status": {
"SucceededCount": 258,
"TotalCount": 258,
"FailedCount": 0,
"LastUpdatedTime": 1771848950.012,
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1771848950.012,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
}
]
}
```
# Membatalkan tugas repositori data
Anda dapat membatalkan tugas repositori data ketika berstatus baik TERTUNDA maupun MENGEKSEKUSI. Ketika Anda membatalkan sebuah tugas, hal berikut ini terjadi:
+ Amazon FSx tidak memproses file apa pun yang ada dalam antrian untuk diproses.
+ Amazon FSx terus memproses file apa pun yang sedang dalam proses.
+ Amazon FSx tidak mengembalikan file apa pun yang tugas sudah diproses.
## Untuk membatalkan tugas repositori data (konsol)
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Klik pada sistem file yang ingin Anda batalkan tugas repositori data.
1. Buka tab **Data Repository** dan gulir ke bawah untuk melihat panel **Data Repository** Tasks.
1. Pilih **ID tugas** atau **Nama tugas** untuk tugas yang ingin Anda batalkan.
1. Pilih **Batalkan tugas** untuk membatalkan tugas.
1. Masukkan ID tugas untuk mengonfirmasi permintaan pembatalan.
## Untuk membatalkan tugas repositori data (CLI)
Gunakan perintah Amazon FSx [https://docs.aws.amazon.com/cli/latest/reference/fsx/cancel-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/cancel-data-repository-task.html)CLI, untuk membatalkan tugas. [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CancelDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CancelDataRepositoryTask.html)adalah perintah API yang setara.
+ Gunakan perintah berikut untuk membatalkan tugas repositori data.
```
aws fsx cancel-data-repository-task \
--task-id task-0123456789abcdef0
```
Jika perintah berhasil, Amazon FSx mengembalikan respons dalam format JSON.
```
{
"Status": "CANCELING",
"TaskId": "task-0123456789abcdef0"
}
```
# Bekerja dengan laporan penyelesaian tugas
*Laporan penyelesaian tugas* memberikan rincian tentang hasil tugas repositori data ekspor, impor, atau rilis. Laporan ini termasuk hasil untuk file-file yang diproses oleh tugas yang sesuai dengan cakupan laporan. Anda dapat menentukan apakah Anda ingin menghasilkan laporan atas sebuah tugas dengan menggunakan parameter `Enabled`.
Amazon FSx mengirimkan laporan ke repositori data tertaut sistem file di Amazon S3, menggunakan jalur yang Anda tentukan saat Anda mengaktifkan laporan untuk tugas. Nama file laporan adalah `report.csv` untuk tugas impor dan `failures.csv` untuk tugas ekspor atau rilis.
Format laporan adalah file CSV (nilai yang dipisahkan koma) yang memiliki tiga bidang: `FilePath`, `FileStatus`, dan `ErrorCode`.
Laporan dikodekan menggunakan format enkode RFC-4180 sebagai berikut:
+ Jalur dimulai dengan salah satu karakter berikut yang berada dalam tanda kutip tunggal: `@ + - =`
+ String yang memiliki setidaknya salah satu dari karakter-karakter berikut yang terkandung dalam tanda kutip ganda: `" ,`
+ Semua tanda kutip ganda lolos dengan tanda kutip ganda tambahan.
Berikut ini adalah beberapa contoh dari pengkodean laporan:
+ `@filename.txt` menjadi `"""@filename.txt"""`
+ `+filename.txt` menjadi `"""+filename.txt"""`
+ `file,name.txt` menjadi `"file,name.txt"`
+ `file"name.txt` menjadi `"file""name.txt"`
Untuk informasi selengkapnya tentang pengkodean RFC-4180, lihat [RFC-4180 - Format Umum dan Jenis MIME untuk File CSV (Nilai yang Dipisahkan Koma)](https://tools.ietf.org/html/rfc4180) di situs web IETF.
Berikut ini adalah contoh dari informasi yang diberikan dalam laporan penyelesaian tugas yang berisikan file gagal saja.
```
myRestrictedFile,failed,S3AccessDenied
dir1/myLargeFile,failed,FileSizeTooLarge
dir2/anotherLargeFile,failed,FileSizeTooLarge
```
Untuk informasi lebih lanjut tentang kegagalan tugas dan cara mengubahnya, lihat [Memecahkan masalah kegagalan tugas repositori data](failed-tasks.md).
# Memecahkan masalah kegagalan tugas repositori data
Anda dapat [mengaktifkan logging](cw-event-logging.md) ke CloudWatch Log untuk mencatat informasi tentang kegagalan yang dialami saat mengimpor atau mengekspor file menggunakan tugas repositori data. Untuk informasi tentang CloudWatch log peristiwa Log, lihat[Log peristiwa repositori data](data-repo-event-logs.md).
Jika tugas repositori data gagal, Anda dapat menemukan jumlah file yang FSx gagal diproses Amazon di **File yang gagal diekspor** di halaman **status Tugas** konsol. Atau Anda dapat menggunakan CLI atau API dan melihat hal yang `Status: FailedCount` pada tugas. Untuk informasi tentang mengakses informasi ini, lihat [Mengakses tugas repositori data](view-data-repo-tasks.md).
Untuk tugas repositori data, Amazon FSx juga secara opsional memberikan informasi tentang file dan direktori tertentu yang gagal dalam laporan penyelesaian. Laporan penyelesaian tugas berisi file atau jalur direktori pada sistem Lustre file yang gagal, statusnya, dan alasan kegagalan. Untuk informasi selengkapnya, lihat [Bekerja dengan laporan penyelesaian tugas](task-completion-report.md).
Tugas repositori data dapat gagal karena beberapa alasan, termasuk hal-hal yang tercantum berikut ini.
| Kode Kesalahan | Penjelasan |
| --- | --- |
| `FileSizeTooLarge` | Ukuran objek maksimum yang didukung oleh Amazon S3 adalah 5 TiB. |
| `InternalError` | Terjadi kesalahan dalam sistem FSx file Amazon untuk tugas impor, ekspor, atau rilis. Umumnya, kode kesalahan ini berarti bahwa sistem FSx file Amazon yang menjalankan tugas gagal berada dalam status siklus hidup GAGAL. Ketika hal ini terjadi, file-file yang terpengaruh mungkin tidak dapat dipulihkan karena hilangnya data. Jika tidak, Anda dapat menggunakan perintah manajemen penyimpanan hirarkis (HSM) untuk mengekspor file dan direktori ke repositori data pada S3. Untuk informasi selengkapnya, lihat [Mengekspor file menggunakan perintah HSM](exporting-files-hsm.md). |
| `OperationNotPermitted` | Amazon FSxtidak dapat melepaskan file karena belum diekspor ke bucket S3 yang ditautkan. Anda harus menggunakan tugas repositori data ekspor atau ekspor otomatis untuk memastikan bahwa file Anda diekspor terlebih dahulu ke bucket Amazon S3 yang ditautkan. |
| `PathSizeTooLong` | Jalur ekspor terlalu panjang. Panjang kunci objek maksimum yang didukung oleh S3 adalah 1.024 karakter. |
| `ResourceBusy` | Amazon FSxtidak dapat mengekspor atau melepaskan file karena sedang diakses oleh klien lain pada sistem file. Anda dapat mencoba lagi DataRepositoryTask setelah alur kerja Anda selesai menulis ke file. |
| `S3AccessDenied` | Akses ditolak ke Amazon S3 untuk tugas ekspor atau impor repositori data. Untuk tugas ekspor, sistem FSx file Amazon harus memiliki izin untuk melakukan `S3:PutObject` operasi untuk mengekspor ke repositori data tertaut di S3. Izin ini diberikan dalam peran yang terhubung dengan layanan `AWSServiceRoleForFSxS3Access_fs-0123456789abcdef0`. Untuk informasi selengkapnya, lihat [Menggunakan peran terkait layanan untuk Amazon FSx](using-service-linked-roles.md). Untuk tugas ekspor, karena tugas ekspor memerlukan data mengalir di luar VPC sistem file, kesalahan ini dapat terjadi jika repositori target memiliki kebijakan bucket yang berisi salah satu kunci kondisi global IAM `aws:SourceVpc` atau `aws:SourceVpce` IAM. Untuk tugas impor, sistem FSx file Amazon harus memiliki izin untuk melakukan `S3:HeadObject` dan `S3:GetObject` operasi untuk mengimpor dari repositori data tertaut di S3. Untuk tugas impor, jika bucket S3 Anda menggunakan enkripsi sisi server dengan kunci terkelola pelanggan yang disimpan di AWS Key Management Service (SSE-KMS), Anda harus mengikuti konfigurasi kebijakan di. [Bekerja dengan bucket Amazon S3 yang dienkripsi sisi server](s3-server-side-encryption-support.md) Jika bucket S3 berisi objek yang diunggah dari akun bucket S3 yang berbeda Akun AWS dari sistem file yang ditautkan, Anda dapat memastikan bahwa tugas repositori data Anda dapat mengubah metadata S3 atau menimpa objek S3 terlepas dari akun mana yang mengunggahnya. Kami menyarankan Anda mengaktifkan fitur Kepemilikan Objek S3 untuk bucket S3 Anda. Fitur ini memungkinkan Anda untuk mengambil kepemilikan objek baru yang Akun AWS diunggah lain ke bucket Anda, dengan memaksa unggahan untuk menyediakan ACL `-/-acl bucket-owner-full-control` kalengan. Aktifkan Kepemilikan Objek S3 dengan memilih opsi **pilihan pemilik bucket** di bucket S3 Anda. Untuk informasi selengkapnya, lihat [Mengendalikan kepemilikan objek yang diunggah dengan menggunakan Kepemilikan Objek S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/about-object-ownership.html) di *Panduan Pengguna Amazon S3*. |
| `S3Error` | Amazon FSx mengalami kesalahan terkait S3 yang tidak. `S3AccessDenied` |
| `S3FileDeleted` | Amazon FSx tidak dapat mengekspor file hard link karena file sumber tidak ada di repositori data. |
| `S3ObjectInUnsupportedTier` | Amazon FSx berhasil mengimpor objek non-symlink dari kelas penyimpanan S3 Glacier Flexible Retrieval atau S3 Glacier Deep Archive. `FileStatus`Akan ada `succeeded with warning` dalam laporan penyelesaian tugas. Peringatan menunjukkan bahwa untuk mengambil data, Anda harus memulihkan objek S3 Glacier Flexible Retrieval atau S3 Glacier Deep Archive terlebih dahulu dan kemudian menggunakan perintah untuk mengimpor objek. `hsm_restore` |
| `S3ObjectNotFound` | Amazon FSx tidak dapat mengimpor atau mengekspor file karena tidak ada di repositori data. |
| `S3ObjectPathNotPosixCompliant` | Objek Amazon S3 ada tetapi tidak dapat diimpor karena bukan objek yang sesuai dengan POSIX. Untuk informasi tentang metadata POSIX yang didukung, lihat. [Dukungan metadata POSIX untuk repositori data](posix-metadata-support.md) |
| `S3ObjectUpdateInProgressFromFileRename` | Amazon FSxtidak dapat melepaskan file karena ekspor otomatis memproses penggantian nama file. Proses penggantian nama ekspor otomatis harus selesai sebelum file dapat dirilis. |
| `S3SymlinkInUnsupportedTier` | Amazon tidak dapat mengimpor objek symlink karena FSx berada di kelas penyimpanan Amazon S3 yang tidak didukung, seperti kelas penyimpanan S3 Glacier Flexible Retrieval atau S3 Glacier Deep Archive. `FileStatus`Akan ada `failed` dalam laporan penyelesaian tugas. |
| `SourceObjectDeletedBeforeReleasing` | Amazon FSx tidak dapat melepaskan file dari sistem file karena file tersebut dihapus dari repositori data sebelum dapat dirilis. |
# Melepaskan file
Rilis tugas repositori data rilis data file dari sistem file FSx for Lustre Anda untuk mengosongkan ruang untuk file baru. Melepaskan file akan mempertahankan daftar file dan metadata, tetapi menghapus salinan lokal dari isi file tersebut. Jika pengguna atau aplikasi mengakses file yang dirilis, data akan dimuat kembali secara otomatis dan transparan ke sistem file Anda dari bucket Amazon S3 yang ditautkan.
**catatan**
Tugas repositori data rilis tidak tersedia FSx untuk sistem file Lustre 2.10.
Parameter **Jalur sistem file untuk dirilis** dan **Durasi minimum sejak akses terakhir** menentukan file mana yang akan dirilis.
+ **Jalur sistem file untuk dirilis**: Menentukan jalur dari mana file akan dirilis.
+ **Durasi minimum sejak akses terakhir**: Menentukan durasi, dalam beberapa hari, sehingga file apa pun yang tidak diakses dalam durasi itu harus dirilis. Durasi sejak file terakhir diakses dihitung dengan mengambil perbedaan antara waktu pembuatan tugas rilis dan terakhir kali file diakses (nilai maksimum`atime`,`mtime`, dan`ctime`).
File hanya akan dirilis di sepanjang jalur file jika telah diekspor ke S3 dan memiliki durasi sejak akses terakhir yang lebih besar dari durasi minimum sejak nilai akses terakhir. Memberikan durasi minimum sejak akses terakhir `0` hari akan merilis file terlepas dari durasinya sejak akses terakhir.
**catatan**
Penggunaan wildcard untuk menyertakan atau mengecualikan file untuk rilis tidak didukung.
Tugas repositori data rilis hanya akan merilis data dari file yang telah diekspor ke repositori data S3 tertaut. Anda dapat mengekspor data ke S3 menggunakan fitur ekspor otomatis, tugas repositori data ekspor, atau perintah HSM. Untuk memverifikasi bahwa file telah diekspor ke repositori data Anda, Anda dapat menjalankan perintah berikut. Sebuah nilai kembali `states: (0x00000009) exists archived` menunjukkan bahwa file telah berhasil diekspor.
```
sudo lfs hsm_state path/to/export/file
```
**catatan**
Anda harus menjalankan perintah HSM sebagai pengguna root atau menggunakan`sudo`.
Untuk merilis data file pada interval reguler, Anda dapat menjadwalkan tugas repositori data rilis berulang menggunakan Amazon Scheduler. EventBridge Untuk informasi selengkapnya, lihat [Memulai EventBridge Penjadwal](https://docs.aws.amazon.com/scheduler/latest/UserGuide/getting-started.html) di *Panduan Pengguna EventBridge Penjadwal Amazon*.
**Topics**
+ [Menggunakan tugas repositori data untuk merilis file](release-files-task.md)
# Menggunakan tugas repositori data untuk merilis file
Gunakan prosedur berikut untuk membuat tugas yang melepaskan file dari sistem file dengan menggunakan FSx konsol Amazon dan CLI. Melepaskan file akan mempertahankan daftar file dan metadata, tetapi menghapus salinan lokal dari isi file tersebut.
## Untuk melepaskan file (konsol)
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Di panel navigasi kiri, pilih **Sistem file**, lalu pilih sistem Lustre file Anda.
1. Pilih tab **Repositori data**.
1. Di panel **Asosiasi repositori data, pilih asosiasi** repositori data yang ingin Anda buat tugas rilis.
1. Untuk **Tindakan**, pilih **Buat tugas rilis**. Pilihan ini hanya tersedia jika sistem file ditautkan ke repositori data pada S3. Dialog **tugas repositori data rilis Buat** muncul.
1. Di **jalur sistem File yang akan dirilis**, tentukan hingga 32 direktori atau file yang akan dirilis dari sistem FSx file Amazon Anda dengan menyediakan jalur ke direktori atau file tersebut. Jalur yang Anda berikan harus relatif terhadap titik pemasangan sistem file. Misalnya, jika titik pemasangan adalah `/mnt/fsx` dan `/mnt/fsx/path1` merupakan file pada sistem file yang ingin Anda lepaskan, maka jalur yang akan disediakan adalah`path1`. Untuk melepaskan semua file dalam sistem file, tentukan garis miring (/) sebagai jalur.
**catatan**
Jika jalan yang Anda berikan tidak valid, tugas gagal.
1. Untuk **Durasi minimum sejak akses terakhir**, tentukan durasinya, dalam beberapa hari, sehingga file apa pun yang tidak diakses dalam durasi tersebut harus dirilis. Waktu akses terakhir dihitung menggunakan nilai maksimum`atime`,`mtime`, dan`ctime`. File dengan periode durasi akses terakhir lebih besar dari durasi minimum sejak akses terakhir (relatif terhadap waktu pembuatan tugas) akan dirilis. File dengan periode durasi akses terakhir kurang dari jumlah hari ini tidak akan dirilis, bahkan jika mereka berada di bidang **jalur sistem File ke rilis**. Berikan durasi `0` hari untuk merilis file terlepas dari durasi sejak akses terakhir.
1. (Opsional) Di bawah **Laporan penyelesaian**, pilih **Aktifkan** untuk menghasilkan laporan penyelesaian tugas yang memberikan detail tentang file yang memenuhi cakupan yang disediakan dalam **lingkup Laporan**. **Untuk menentukan lokasi Amazon FSx untuk mengirimkan laporan, masukkan jalur relatif pada repositori data S3 tertaut sistem file untuk jalur Laporan.**
1. Pilih **Buat tugas repositori data**.
Pemberitahuan di bagian atas halaman **Sistem file** menampilkan tugas yang baru saja Anda buat dalam proses.
Untuk melihat status tugas dan detail, di tab **Repositori Data**, gulir ke bawah ke Tugas **Repositori Data**. Urutan default menampilkan tugas terbaru di bagian atas daftar.
Untuk melihat ringkasan tugas dari halaman ini, pilih **ID tugas** untuk tugas yang baru saja Anda buat.
## Untuk melepaskan file (CLI)
+ Gunakan perintah [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html)CLI untuk membuat tugas yang melepaskan file pada sistem file FSx for Lustre Anda. Operasi API yang sesuai adalah [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html).
Atur parameter berikut:
+ Setel `--file-system-id` ke ID sistem file tempat Anda melepaskan file.
+ Atur `--paths` ke jalur pada sistem file dari mana data akan dirilis. Jika direktori ditentukan, file dalam direktori dilepaskan. Jika jalur file ditentukan, hanya file itu yang dirilis. Untuk melepaskan semua file dalam sistem file yang telah diekspor ke bucket S3 tertaut, tentukan garis miring ke depan (/) untuk jalur tersebut.
+ Atur `--type` ke `RELEASE_DATA_FROM_FILESYSTEM`.
+ Atur `--release-configuration DurationSinceLastAccess` opsi sebagai berikut:
+ `Unit` – Atur ke `DAYS`.
+ `Value`— Tentukan bilangan bulat yang mewakili durasi, dalam beberapa hari, sehingga file apa pun yang tidak diakses dalam durasi itu harus dirilis. File yang diakses selama periode kurang dari jumlah hari ini tidak akan dirilis, bahkan jika mereka berada dalam `--paths` parameter. Berikan durasi `0` hari untuk merilis file terlepas dari durasi sejak akses terakhir.
Perintah sampel ini menetapkan bahwa file yang telah diekspor ke bucket S3 tertaut dan memenuhi `--release-configuration` kriteria akan dirilis dari direktori di jalur yang ditentukan.
```
$ aws fsx create-data-repository-task \
--file-system-id fs-0123456789abcdef0 \
--type RELEASE_DATA_FROM_FILESYSTEM \
--paths path1,path2/file1 \
--release-configuration '{"DurationSinceLastAccess":{"Unit":"DAYS","Value":10}}' \
--report Enabled=false
```
Setelah berhasil membuat tugas repositori data, Amazon FSx mengembalikan deskripsi tugas sebagai JSON.
Setelah membuat tugas untuk melepaskan file, Anda dapat memeriksa status tugas. Untuk informasi selengkapnya tentang melihat tugas repositori data, lihat [Mengakses tugas repositori data](view-data-repo-tasks.md).
# Menggunakan Amazon FSx dengan data lokal
Anda dapat menggunakan Lustre FSx untuk memproses data lokal Anda dengan instans komputasi di cloud. FSx untuk Lustre mendukung akses melalui Direct Connect dan VPN, memungkinkan Anda untuk me-mount sistem file Anda dari klien lokal.
**Untuk digunakan FSx untuk Lustre dengan data lokal Anda**
1. Buat sistem file. Untuk informasi selengkapnya, lihat [Langkah 1: FSx Buat sistem file Lustre Anda](getting-started.md#getting-started-step1) dalam latihan memulai.
1. Pasang sistem file dari klien on-premise. Untuk informasi selengkapnya, lihat [Memasang sistem FSx file Amazon dari VPC Amazon lokal atau peered](mounting-on-premises.md).
1. Salin data yang ingin Anda proses ke dalam sistem file Lustre Anda FSx .
1. Jalankan beban kerja komputasi intensif Anda pada instans Amazon EC2 di cloud yang memasang sistem file Anda.
1. Setelah selesai, salin hasil akhir dari sistem file Anda kembali ke lokasi data lokal, dan hapus sistem file Lustre Anda FSx .
# Log peristiwa repositori data
Anda dapat mengaktifkan logging ke CloudWatch Log untuk mencatat informasi tentang kegagalan yang dialami saat mengimpor atau mengekspor file menggunakan impor, ekspor, tugas repositori data, dan memulihkan peristiwa. Untuk informasi selengkapnya, lihat [Logging dengan Amazon CloudWatch Logs](cw-event-logging.md).
**catatan**
Ketika tugas repositori data gagal, Amazon FSx juga menulis informasi kegagalan ke laporan penyelesaian tugas. Untuk informasi selengkapnya tentang informasi kegagalan dalam laporan penyelesaian, lihat[Memecahkan masalah kegagalan tugas repositori data](failed-tasks.md).
**Topics**
+ [Impor acara](#import-event-logging)
+ [Acara ekspor](#export-event-logging)
+ [Acara pemulihan HSM](#hsm-restore-event-logging)
## Impor acara
| Jenis kesalahan | Tingkat log | Pesan log | Penyebab galat | Kode kesalahan dalam laporan penyelesaian |
| --- | --- | --- | --- | --- |
| Kegagalan daftar objek | ERROR | Gagal mencantumkan objek S3 di bucket S3 bucket\$1name dengan awalan. prefix | Amazon FSx gagal mencantumkan objek S3 di bucket S3. Ini dapat terjadi jika kebijakan bucket S3 tidak memberikan izin yang memadai ke Amazon. FSx | N/A |
| Kelas penyimpanan S3 yang tidak didukung | PERINGATAN | Gagal mengimpor objek S3 dengan kunci key\$1value di bucket S3 bucket\$1name karena objek S3 di tingkat yang tidak didukung. S3\$1tier\$1name | Amazon tidak dapat mengimpor objek S3 karena FSx berada di kelas penyimpanan Amazon S3 yang tidak didukung, seperti S3 Glacier Flexible Retrieval atau kelas penyimpanan S3 Glacier Deep Archive. | S3ObjectInUnsupportedTier |
| Kelas penyimpanan symlink yang tidak didukung | ERROR | Gagal mengimpor objek S3 dengan kunci key\$1value di bucket S3 bucket\$1name karena objek symlink S3 di tingkat yang tidak didukung. S3\$1tier\$1name | Amazon tidak dapat mengimpor objek symlink karena FSx berada di kelas penyimpanan Amazon S3 yang tidak didukung, seperti S3 Glacier Flexible Retrieval atau kelas penyimpanan S3 Glacier Deep Archive. | S3SymlinkInUnsupportedTier |
| Akses S3 ditolak | ERROR | Gagal mengimpor objek S3 dengan kunci key\$1value di bucket S3 bucket\$1name karena akses ke objek S3 ditolak. | Akses ditolak ke Amazon S3 untuk tugas impor ekspor repositori data. Untuk tugas impor, sistem FSx file Amazon harus memiliki izin untuk melakukan `s3:HeadObject` dan `s3:GetObject` operasi untuk mengimpor dari repositori data tertaut di S3. Untuk tugas impor, jika bucket S3 Anda menggunakan enkripsi sisi server dengan kunci terkelola pelanggan yang disimpan di AWS Key Management Service (SSE-KMS), Anda harus mengikuti konfigurasi kebijakan di. [Bekerja dengan bucket Amazon S3 yang dienkripsi sisi server](s3-server-side-encryption-support.md) | S3AccessDenied |
| Hapus akses ditolak | ERROR | Gagal menghapus file lokal untuk objek S3 dengan kunci key\$1value di bucket S3 bucket\$1name karena akses ke objek S3 ditolak. | Impor otomatis ditolak akses ke objek S3. | N/A |
| Objek yang tidak sesuai dengan POSIX | ERROR | Gagal mengimpor objek S3 dengan kunci key\$1value di bucket S3 bucket\$1name karena objek S3 tidak sesuai POSIX. | Objek Amazon S3 ada tetapi tidak dapat diimpor karena bukan objek yang sesuai dengan POSIX. Untuk informasi tentang metadata POSIX yang didukung, lihat. [Dukungan metadata POSIX untuk repositori data](posix-metadata-support.md) | S3ObjectPathNotPosixCompliant |
| Ketidakcocokan tipe objek | ERROR | Gagal mengimpor objek S3 dengan kunci key\$1value di bucket S3 bucket\$1name karena objek S3 dengan nama yang sama telah diimpor ke sistem file. | Objek S3 yang diimpor adalah jenis yang berbeda (file atau direktori) dari objek yang ada dengan nama yang sama dalam sistem file. | S3ObjectTypeMismatch |
| Kegagalan pembaruan metadata direktori | ERROR | Gagal memperbarui metadata direktori lokal karena kesalahan internal. | Metadata direktori tidak dapat diimpor karena kesalahan internal. | N/A |
| Objek S3 tidak ditemukan | ERROR | Gagal mengimpor objek S3 dengan kunci key\$1value karena tidak ditemukan di bucket S3. bucket\$1name | Amazon FSx tidak dapat mengimpor metadata file karena objek yang sesuai tidak ada di repositori data. | S3FileDeleted |
| Bucket S3 tidak ditemukan | ERROR | Gagal mengimpor objek S3 dengan kunci key\$1value di bucket S3 bucket\$1name karena bucket tidak ada. | Amazon FSx tidak dapat secara otomatis mengimpor objek S3 ke sistem file karena bucket S3 tidak ada lagi. | N/A |
| Bucket S3 tidak ditemukan | ERROR | Gagal menghapus file lokal untuk objek S3 dengan kunci key\$1value di bucket S3 bucket\$1name karena bucket tidak ada. | Amazon FSx tidak dapat menghapus file yang ditautkan ke objek S3 pada sistem file karena bucket S3 tidak ada lagi. | N/A |
| Kegagalan pembuatan direktori | ERROR | Gagal membuat direktori lokal karena kesalahan internal. | Amazon FSx gagal mengimpor pembuatan direktori secara otomatis pada sistem file karena kesalahan internal. | N/A |
| Ruang disk penuh | ERROR | Gagal mengimpor objek S3 dengan kunci key\$1value di bucket S3 bucket\$1name karena sistem file penuh. | Sistem file kehabisan ruang disk pada server metadata saat membuat file atau direktori. | N/A |
## Acara ekspor
| Jenis kesalahan | Tingkat log | Pesan log | Penyebab galat | Kode kesalahan dalam laporan penyelesaian |
| --- | --- | --- | --- | --- |
| Akses ditolak | ERROR | Gagal mengekspor file karena akses ditolak ke objek S3 dengan kunci key\$1value di bucket S3. bucket\$1name | Akses ditolak ke Amazon S3 untuk tugas ekspor repositori data. Untuk tugas ekspor, sistem FSx file Amazon harus memiliki izin untuk melakukan `s3:PutObject` operasi untuk mengekspor ke repositori data tertaut di S3. Izin ini diberikan dalam peran yang terhubung dengan layanan `AWSServiceRoleForFSxS3Access_fs-0123456789abcdef0`. Untuk informasi selengkapnya, lihat [Menggunakan peran terkait layanan untuk Amazon FSx](using-service-linked-roles.md). Karena tugas ekspor memerlukan data mengalir di luar VPC sistem file, kesalahan ini dapat terjadi jika repositori target memiliki kebijakan bucket yang berisi salah satu kunci kondisi global IAM `aws:SourceVpc` atau `aws:SourceVpce` IAM. Jika bucket S3 berisi objek yang diunggah dari akun bucket S3 yang berbeda Akun AWS dari sistem file yang ditautkan, Anda dapat memastikan bahwa tugas repositori data Anda dapat mengubah metadata S3 atau menimpa objek S3 terlepas dari akun mana yang mengunggahnya. Kami menyarankan Anda mengaktifkan fitur Kepemilikan Objek S3 untuk bucket S3 Anda. Fitur ini memungkinkan Anda untuk mengambil kepemilikan objek baru yang Akun AWS diunggah lain ke bucket Anda, dengan memaksa unggahan untuk menyediakan ACL `--acl bucket-owner-full-control` kalengan. Aktifkan Kepemilikan Objek S3 dengan memilih opsi **pilihan pemilik bucket** di bucket S3 Anda. Untuk informasi selengkapnya, lihat [Mengendalikan kepemilikan objek yang diunggah dengan menggunakan Kepemilikan Objek S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/about-object-ownership.html) di *Panduan Pengguna Amazon S3*. | S3AccessDenied |
| Jalur ekspor terlalu panjang | ERROR | Gagal mengekspor file karena ukuran jalur file lokal melebihi panjang kunci objek maksimum yang didukung oleh S3. | Jalur ekspor terlalu panjang. Panjang kunci objek maksimum yang didukung oleh S3 adalah 1.024 karakter. | PathSizeTooLong |
| File terlalu besar | ERROR | Gagal mengekspor file karena ukuran file melebihi ukuran objek S3 maksimum yang didukung. | Ukuran objek maksimum yang didukung oleh Amazon S3 adalah 5 TiB. | FileSizeTooLarge |
| Kunci KMS tidak ditemukan | ERROR | Gagal mengekspor file untuk objek S3 dengan kunci key\$1value di bucket S3 bucket\$1name karena kunci KMS bucket tidak ditemukan. | Amazon FSx tidak dapat mengekspor file karena AWS KMS key tidak dapat ditemukan. Pastikan untuk menggunakan kunci yang Wilayah AWS sama dengan bucket S3. Untuk informasi selengkapnya tentang membuat kunci KMS, lihat [Membuat kunci](https://docs.aws.amazon.com/kms/latest/developerguide/create-keys.html) di Panduan AWS Key Management Service Pengembang. | N/A |
| Sumber daya sibuk | ERROR | Gagal mengekspor file karena sedang digunakan oleh proses lain. | Amazon FSx tidak dapat mengekspor file karena sedang dimodifikasi oleh klien lain pada sistem file. Anda dapat mencoba kembali tugas setelah alur kerja Anda selesai menulis ke file. | ResourceBusy |
| File dirilis | PERINGATAN | Ekspor dilewati: File lokal dalam keadaan dirilis dan objek S3 tertaut dengan kunci tidak key\$1value ditemukan di ember. bucket\$1name | Amazon FSx tidak dapat mengekspor file karena berada dalam keadaan dirilis pada sistem file. | N/A |
| Ketidakcocokan jalur repositori data | PERINGATAN | Ekspor dilewati: file lokal bukan milik jalur sistem file yang ditautkan repositori data. | Amazon FSx tidak dapat mengekspor karena objek tersebut bukan milik jalur sistem file yang ditautkan ke repositori data. | N/A |
| Kegagalan internal | ERROR | Ekspor otomatis mengalami kesalahan internal saat mengekspor objek sistem file | Ekspor gagal karena kesalahan internal (ekspor otomatis atau tingkat kilau). | N/A |
| Kegagalan pengunggahan laporan penyelesaian | ERROR | Gagal mengunggah laporan penyelesaian tugas repositori data ke bucket\$1name | Amazon FSx tidak dapat mengunggah laporan penyelesaian. | N/A |
| Kegagalan validasi laporan penyelesaian | ERROR | Gagal mengunggah laporan penyelesaian tugas repositori data ke dalam bucket bucket\$1name karena jalur laporan penyelesaian bukan report\$1path milik repositori data yang terkait dengan sistem file ini | Amazon FSx tidak dapat mengunggah laporan penyelesaian karena jalur S3 yang disediakan pelanggan bukan milik repositori data tertaut. | N/A |
## Acara pemulihan HSM
| Jenis kesalahan | Tingkat log | Pesan log | Penyebab galat |
| --- | --- | --- | --- |
| Akses ditolak | ERROR | Gagal memulihkan file karena akses ditolak ke objek S3 object\$1name di ember S3. bucket\$1name | Akses ditolak ke Amazon S3 ketika mencoba memulihkan file menggunakan perintah HSM. Sistem file harus memiliki izin untuk melakukan `s3:HeadObject` dan `s3:GetObject` operasi untuk memulihkan dari repositori data tertaut pada S3. |
| Kelas penyimpanan S3 yang tidak didukung | PERINGATAN | Gagal memulihkan file karena objek S3 object\$1name di bucket bucket\$1name tidak S3\$1storage\$1class \$1name didukung. | Amazon tidak dapat memulihkan file karena objek S3 yang sesuai FSx berada di kelas penyimpanan S3 yang tidak didukung, seperti S3 Glacier Flexible Retrieval atau S3 Glacier Deep Archive. Anda harus terlebih dahulu mengembalikan objek dari kelas penyimpanan Glacier sebelum menggunakan. `hsm_restore` |
| Objek S3 tidak ditemukan | ERROR | Gagal memulihkan file karena objek S3 dengan kunci tidak key\$1value ditemukan di bucket S3. bucket\$1name | Amazon FSx tidak dapat memulihkan file karena objek S3 yang sesuai tidak ada di repositori data. |
| Bucket S3 tidak ditemukan | ERROR | Gagal memulihkan file karena bucket S3 bucket\$1name tidak ada. | Amazon FSx tidak dapat memulihkan file karena bucket S3 yang ditautkan tidak ada lagi. |
| Ruang disk penuh | ERROR | Gagal mengembalikan file karena tidak ada ruang penyimpanan yang tersedia pada sistem file. | Sistem file kehabisan ruang penyimpanan yang tersedia saat mencoba mengembalikan data file dari S3. Pertimbangkan untuk meningkatkan kapasitas penyimpanan sistem file atau melepaskan file untuk mengosongkan ruang. |
# Bekerja dengan tipe penerapan yang lebih lama
Bagian ini berlaku untuk sistem file dengan tipe penyebaran Scratch 1, dan juga untuk sistem file dengan `Scratch 2` atau jenis `Persistent 1` penyebaran yang tidak menggunakan asosiasi repositori data. Perhatikan bahwa ekspor otomatis dan dukungan untuk beberapa repositori data tidak tersedia FSx untuk sistem file Lustre yang tidak menggunakan asosiasi repositori data.
**Topics**
+ [Tautkan sistem file Anda ke bucket Amazon S3](#legacy-link-to-S3)
+ [Secara otomatis mengimpor pembaruan dari bucket S3](#legacy-auto-import-from-s3)
## Tautkan sistem file Anda ke bucket Amazon S3
Saat Anda membuat sistem file Amazon FSx untuk Lustre, Anda dapat menautkannya ke repositori data yang tahan lama di Amazon S3. Sebelum Anda membuat sistem file, pastikan Anda telah membuat bucket Amazon S3 yang Anda tautkan. Dalam wizard **Buat sistem file**, Anda mengatur properti konfigurasi repositori data berikut di panel Impor/Ekspor **Repositori Data** opsional.
+ Pilih cara FSx Amazon memperbarui daftar file dan direktori saat menambahkan atau memodifikasi objek di bucket S3 setelah sistem file dibuat. Untuk informasi selengkapnya, lihat [Secara otomatis mengimpor pembaruan dari bucket S3](#legacy-auto-import-from-s3).
+ **Import bucket**: Masukkan nama bucket S3 yang Anda gunakan untuk repositori tertaut.
+ **Awalan impor**: Masukkan awalan impor opsional jika Anda hanya ingin mengimpor beberapa file dan daftar direktori data di bucket S3 ke sistem file Anda. Prefiks impor menentukan tempat di bucket S3 Anda yang akan menjadi sumber pengambilan data yang akan diimpor.
+ **Awalan ekspor**: Menentukan tempat Amazon FSx mengekspor konten sistem file ke bucket S3 yang ditautkan.
Anda dapat memiliki pemetaan 1:1 di mana Amazon FSx mengekspor data dari sistem file FSx for Lustre Anda kembali ke direktori yang sama pada bucket S3 yang diimpor. Untuk memiliki pemetaan 1:1, tentukan jalur ekspor ke bucket S3 tanpa awalan apa pun saat Anda membuat sistem file.
+ Saat Anda membuat sistem file menggunakan konsol, pilih **Ekspor awalan > Awalan yang Anda tentukan** opsi, dan biarkan bidang awalan kosong.
+ Saat Anda membuat sistem file menggunakan AWS CLI atau API, tentukan jalur ekspor sebagai nama bucket S3 tanpa awalan tambahan, misalnya,. `ExportPath=s3://amzn-s3-demo-bucket/`
Dengan menggunakan metode ini, Anda dapat menyertakan awalan impor saat menentukan jalur impor, dan itu tidak memengaruhi pemetaan 1:1 untuk ekspor.
### Membuat sistem file yang terhubung ke bucket S3
Prosedur berikut memandu Anda melalui proses pembuatan sistem FSx file Amazon yang ditautkan ke bucket S3 menggunakan AWS Management Console dan AWS Command Line Interface (AWS CLI).
------
#### [ Console ]
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Dari dasbor, pilih **Buat sistem file**.
1. **Untuk jenis sistem file, pilih **FSx Lustre**, dan kemudian pilih Berikutnya.**
1. Berikan informasi yang diperlukan untuk **Detail sistem file** dan bagian **Jaringan dan keamanan**. Untuk informasi selengkapnya, lihat [Langkah 1: FSx Buat sistem file Lustre Anda](getting-started.md#getting-started-step1).
1. Anda menggunakan panel **Impor/ekspor repositori data** untuk mengkonfigurasi repositori data terkait di Amazon S3. Pilih **Impor data dari dan ekspor data ke S3** untuk memperluas bagian **Impor/Ekspor Repositori Data** dan konfigurasikan pengaturan repositori data.
![\[Panel impor dan ekspor repositori data untuk mengonfigurasi repositori data tertaut di Amazon S3.\]](http://docs.aws.amazon.com/id_id/fsx/latest/LustreGuide/images/legacy-data-repository-import-export.png)
1. Pilih cara Amazon FSx memperbarui daftar file dan direktori Anda saat menambahkan atau memodifikasi objek di bucket S3 Anda. Ketika Anda membuat sistem file Anda, objek S3 yang ada muncul sebagai daftar file dan direktori.
+ **Perbarui daftar file dan direktori saya saat objek ditambahkan ke bucket S3 saya**: (Default) Amazon FSx secara otomatis memperbarui daftar file dan direktori dari objek baru apa pun yang ditambahkan ke bucket S3 tertaut yang saat ini tidak ada di sistem FSx file. Amazon FSx tidak memperbarui daftar untuk objek yang telah berubah di bucket S3. Amazon FSx tidak menghapus daftar objek yang dihapus di bucket S3.
**catatan**
Pengaturan preferensi impor default untuk mengimpor data dari bucket S3 tertaut menggunakan CLI dan API adalah `NONE`. Pengaturan preferensi impor default saat menggunakan konsol adalah memperbarui Lustre saat objek baru ditambahkan ke bucket S3.
+ **Perbarui daftar file dan direktori saya saat objek ditambahkan atau diubah di ember S3 saya**: Amazon FSx secara otomatis memperbarui daftar file dan direktori dari objek baru apa pun yang ditambahkan ke ember S3 dan objek apa pun yang ada yang diubah di ember S3 setelah Anda memilih opsi ini. Amazon FSx tidak menghapus daftar objek yang dihapus di bucket S3.
+ **Perbarui daftar file dan direktori saya saat objek ditambahkan, diubah, atau dihapus dari bucket S3 saya**: Amazon FSx secara otomatis memperbarui daftar file dan direktori objek baru apa pun yang ditambahkan ke bucket S3, objek apa pun yang ada yang diubah di bucket S3, dan objek apa pun yang ada yang dihapus di bucket S3 setelah Anda memilih opsi ini.
+ **Jangan perbarui file saya dan cantumkan langsung saat objek ditambahkan, diubah, atau dihapus dari bucket S3 saya** - Amazon FSx hanya memperbarui daftar file dan direktori dari bucket S3 yang ditautkan saat sistem file dibuat. FSx tidak memperbarui daftar file dan direktori untuk objek baru, diubah, atau dihapus setelah memilih opsi ini.
1. Masukkan **prefiks impor** opsional jika Anda ingin mengimpor hanya beberapa daftar file dan direktori data dalam bucket S3 Anda ke dalam sistem file Anda. Prefiks impor menentukan tempat di bucket S3 yang menjadi sumber pengimporan data. Untuk informasi selengkapnya, lihat [Secara otomatis mengimpor pembaruan dari bucket S3](autoimport-data-repo-dra.md).
1. Pilih salah satu opsi **awalan Ekspor** yang tersedia:
+ **Awalan unik yang FSx dibuat Amazon di bucket Anda**: Pilih opsi ini untuk mengekspor objek baru dan yang diubah menggunakan awalan yang dihasilkan oleh FSx for Lustre. Kode prefiks terlihat seperti ini: `/FSxLustrefile-system-creation- timestamp`. Stempel waktu dalam format UTC, misalnya `FSxLustre20181105T222312Z`.
+ **Awalan yang sama yang Anda impor dari (ganti objek yang ada dengan yang diperbarui)**: Pilih opsi ini untuk mengganti objek yang ada dengan yang diperbarui.
+ **Awalan yang Anda tentukan**: Pilih opsi ini untuk mempertahankan data yang diimpor dan mengekspor objek baru dan yang diubah menggunakan awalan yang Anda tentukan. Untuk mencapai pemetaan 1:1 saat mengekspor data ke bucket S3 Anda, pilih opsi ini dan biarkan bidang awalan kosong. FSx akan mengekspor data ke direktori yang sama dengan yang diimpor.
1. (Opsional) Atur **Preferensi pemeliharaan**, atau gunakan default sistem.
1. Pilih **Selanjutnya**, dan tinjau pengaturan sistem file. Buat perubahan jika diperlukan.
1. Pilih **Buat sistem file**.
------
#### [ AWS CLI ]
Contoh berikut membuat sistem FSx file Amazon yang ditautkan ke`amzn-s3-demo-bucket`, dengan preferensi impor yang mengimpor file baru, diubah, dan dihapus dalam repositori data tertaut setelah sistem file dibuat.
**catatan**
Pengaturan preferensi impor default untuk mengimpor data dari bucket S3 tertaut menggunakan CLI dan API adalah `NONE`, yang berbeda dari perilaku default saat menggunakan konsol.
Untuk membuat sistem file FSx untuk Lustre, gunakan perintah [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-file-system.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-file-system.html)Amazon FSx CLI, seperti yang ditunjukkan di bawah ini. Operasi API yang sesuai adalah [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateFileSystem.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateFileSystem.html).
```
$ aws fsx create-file-system \
--client-request-token CRT1234 \
--file-system-type LUSTRE \
--file-system-type-version 2.10 \
--lustre-configuration
AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=SCRATCH_1,ImportPath=s
3://amzn-s3-demo-bucket/,ExportPath=s3://amzn-s3-demo-bucket/export,
PerUnitStorageThroughput=50 \
--storage-capacity 2400 \
--subnet-ids subnet-123456 \
--tags Key=Name,Value=Lustre-TEST-1 \
--region us-east-2
```
Setelah Anda berhasil membuat sistem file, Amazon FSx mengembalikan deskripsi sistem file sebagai JSON, seperti yang ditunjukkan pada contoh berikut.
```
{
"FileSystems": [
{
"OwnerId": "owner-id-string",
"CreationTime": 1549310341.483,
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "LUSTRE",
"FileSystemTypeVersion": "2.10",
"Lifecycle": "CREATING",
"StorageCapacity": 2400,
"VpcId": "vpc-123456",
"SubnetIds": [
"subnet-123456"
],
"NetworkInterfaceIds": [
"eni-039fcf55123456789"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre-TEST-1"
}
],
"LustreConfiguration": {
"DeploymentType": "PERSISTENT_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": "NEW_CHANGED_DELETED",
"Lifecycle": "UPDATING",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/export",
"ImportedFileChunkSize": 1024
},
"PerUnitStorageThroughput": 50
}
}
]
}
```
------
### Melihat jalur ekspor sistem file
Anda dapat melihat jalur ekspor sistem file menggunakan konsol FSx for Lustre, AWS CLI, dan API.
------
#### [ Console ]
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)
1. Pilih **Nama sistem file** **atau ID sistem file** FSx untuk sistem file Lustre yang ingin Anda lihat jalur ekspor.
Halaman detail sistem file muncul untuk sistem file tersebut.
1. Pilih tab **Repositori data**.
Panel **Integrasi repositori data** muncul, menampilkan jalur impor dan ekspor.
![\[Jalur impor dan ekspor repositori data di panel integrasi repositori Data.\]](http://docs.aws.amazon.com/id_id/fsx/latest/LustreGuide/images/legacy-view-export-path.png)
------
#### [ CLI ]
Untuk menentukan jalur ekspor untuk sistem file Anda, gunakan perintah [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html) AWS CLI.
```
aws fsx describe-file-systems
```
Cari properti `ExportPath` di bawah `LustreConfiguration` dalam respons.
```
{
"OwnerId": "111122223333",
"CreationTime": 1563382847.014,
"FileSystemId": "",
"FileSystemType": "LUSTRE",
"Lifecycle": "AVAILABLE",
"StorageCapacity": 2400,
"VpcId": "vpc-6296a00a",
"SubnetIds": [
"subnet-1111111"
],
"NetworkInterfaceIds": [
"eni-0c288d5b8cc06c82d",
"eni-0f38b702442c6918c"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre System"
}
],
"LustreConfiguration": {
"DeploymentType": "SCRATCH_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": " NEW_CHANGED_DELETED",
"Lifecycle": "AVAILABLE",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/FSxLustre20190717T164753Z",
"ImportedFileChunkSize": 1024
}
},
"PerUnitStorageThroughput": 50,
"WeeklyMaintenanceStartTime": "6:09:30"
}
```
------
### Kondisi siklus hidup repositori data
Kondisi siklus hidup repositori data memberikan informasi kondisi repositori data terkait sistem file. Sebuah repositori data dapat memiliki status Siklus Hidup berikut.
+ **Membuat**: Amazon FSx membuat konfigurasi repositori data antara sistem file dan repositori data tertaut. Repositori data tidak tersedia.
+ **Tersedia**: Repositori data tersedia untuk digunakan.
+ **Memperbarui**: Konfigurasi repositori data sedang menjalani pembaruan yang dimulai pelanggan yang mungkin memengaruhi ketersediaannya.
+ **Salah konfigurasi**: Amazon FSx tidak dapat secara otomatis mengimpor pembaruan dari bucket S3 hingga konfigurasi repositori data diperbaiki. Untuk informasi selengkapnya, lihat [Memecahkan masalah bucket S3 terkait yang salah dikonfigurasi](troubleshooting-misconfigured-data-repository.md).
Anda dapat melihat status siklus hidup repositori data tertaut sistem file menggunakan FSx konsol Amazon, Antarmuka Baris AWS Perintah, dan Amazon API. FSx Di FSx konsol Amazon, Anda dapat mengakses **status Siklus Hidup** repositori data di panel **Integrasi Repositori Data pada tab Repositori** **Data** untuk sistem file. Properti `Lifecycle` terletak di objek `DataRepositoryConfiguration` dalam respon dari perintah CLI [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html) (tindakan API setara adalah [https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeFileSystems.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeFileSystems.html)).
## Secara otomatis mengimpor pembaruan dari bucket S3
Secara default, saat Anda membuat sistem file baru, Amazon FSx mengimpor metadata file (nama, kepemilikan, stempel waktu, dan izin) objek dalam bucket S3 tertaut pada pembuatan sistem file. Anda dapat mengonfigurasi sistem file Lustre untuk secara otomatis mengimpor metadata objek yang ditambahkan, diubah, atau dihapus dari bucket S3 setelah pembuatan sistem file. FSx FSx untuk Lustre memperbarui file dan daftar direktori dari objek yang diubah setelah pembuatan dengan cara yang sama seperti mengimpor metadata file pada pembuatan sistem file. Saat Amazon FSx memperbarui daftar file dan direktori objek yang diubah, jika objek yang diubah di bucket S3 tidak lagi berisi metadatanya, Amazon FSx mempertahankan nilai metadata file saat ini, daripada menggunakan izin default.
**catatan**
Pengaturan impor tersedia FSx untuk sistem file Lustre yang dibuat setelah pukul 15:00 EDT, 23 Juli 2020.
Anda dapat mengatur preferensi impor saat membuat sistem file baru, dan Anda dapat memperbarui pengaturan pada sistem file yang ada menggunakan konsol FSx manajemen, AWS CLI, dan API. AWS Ketika Anda membuat sistem file Anda, objek S3 yang ada muncul sebagai daftar file dan direktori. Setelah Anda membuat sistem file Anda, bagaimana Anda ingin memperbaruinya ketika isi dari bucket S3 diperbarui? Sistem file dapat memiliki salah satu preferensi Impor berikut:
**catatan**
Sistem file FSx for Lustre dan bucket S3 yang ditautkan harus ditempatkan di AWS Wilayah yang sama untuk mengimpor pembaruan secara otomatis.
+ **Perbarui daftar file dan direktori saya saat objek ditambahkan ke bucket S3 saya**: (Default) Amazon FSx secara otomatis memperbarui daftar file dan direktori dari objek baru apa pun yang ditambahkan ke bucket S3 tertaut yang saat ini tidak ada di sistem FSx file. Amazon FSx tidak memperbarui daftar untuk objek yang telah berubah di bucket S3. Amazon FSx tidak menghapus daftar objek yang dihapus di bucket S3.
**catatan**
Pengaturan preferensi impor default untuk mengimpor data dari bucket S3 tertaut menggunakan CLI dan API adalah `NONE`. Pengaturan preferensi impor default saat menggunakan konsol adalah memperbarui Lustre saat objek baru ditambahkan ke bucket S3.
+ **Perbarui daftar file dan direktori saya saat objek ditambahkan atau diubah di ember S3 saya**: Amazon FSx secara otomatis memperbarui daftar file dan direktori dari objek baru apa pun yang ditambahkan ke ember S3 dan objek apa pun yang ada yang diubah di ember S3 setelah Anda memilih opsi ini. Amazon FSx tidak menghapus daftar objek yang dihapus di bucket S3.
+ **Perbarui daftar file dan direktori saya saat objek ditambahkan, diubah, atau dihapus dari bucket S3 saya**: Amazon FSx secara otomatis memperbarui daftar file dan direktori objek baru apa pun yang ditambahkan ke bucket S3, objek apa pun yang ada yang diubah di bucket S3, dan objek apa pun yang ada yang dihapus di bucket S3 setelah Anda memilih opsi ini.
+ **Jangan perbarui file saya dan cantumkan langsung saat objek ditambahkan, diubah, atau dihapus dari bucket S3 saya** - Amazon FSx hanya memperbarui daftar file dan direktori dari bucket S3 yang ditautkan saat sistem file dibuat. FSx tidak memperbarui daftar file dan direktori untuk objek baru, diubah, atau dihapus setelah memilih opsi ini.
Saat Anda menyetel preferensi impor untuk memperbarui file sistem file dan daftar direktori berdasarkan perubahan dalam bucket S3 yang ditautkan, Amazon akan FSx membuat konfigurasi notifikasi peristiwa pada bucket S3 tertaut bernama. `FSx` Jangan memodifikasi atau menghapus konfigurasi pemberitahuan `FSx` peristiwa pada ember S3 — hal itu mencegah impor otomatis daftar file dan direktori baru atau yang diubah ke sistem file Anda.
Saat Amazon FSx memperbarui daftar file yang telah berubah pada bucket S3 yang ditautkan, Amazon akan menimpa file lokal dengan versi yang diperbarui, meskipun file tersebut dikunci tulis. Demikian pula, ketika Amazon FSx memperbarui daftar file ketika objek yang sesuai telah dihapus pada bucket S3 yang ditautkan, itu akan menghapus file lokal, bahkan jika file tersebut dikunci tulis.
Amazon FSx melakukan upaya terbaik untuk memperbarui sistem file Anda. Amazon FSx tidak dapat memperbarui sistem file dengan perubahan dalam situasi berikut:
+ Ketika Amazon FSx tidak memiliki izin untuk membuka objek S3 yang diubah atau baru.
+ Saat konfigurasi pemberitahuan `FSx` acara pada bucket S3 yang ditautkan dihapus atau diubah.
**Salah satu dari kondisi ini menyebabkan status siklus hidup repositori data menjadi Salah konfigurasi.** Untuk informasi selengkapnya, lihat [Kondisi siklus hidup repositori data](#legacy-data-lifecycle).
### Prasyarat
Ketentuan berikut diperlukan Amazon untuk secara otomatis FSx mengimpor file baru, diubah, atau dihapus dari bucket S3 yang ditautkan:
+ Sistem file dan bucket S3 yang ditautkan harus berada di AWS Wilayah yang sama.
+ Bucket S3 tidak memiliki Kondisi siklus hidup yang konfigurasinya salah. Untuk informasi selengkapnya, lihat [Kondisi siklus hidup repositori data](#legacy-data-lifecycle).
+ Akun Anda harus memiliki izin yang diperlukan untuk mengonfigurasi dan menerima pemberitahuan acara di bucket S3 yang ditautkan.
### Jenis perubahan file yang didukung
Amazon FSx mendukung pengimporan perubahan berikut ke file dan folder yang terjadi di bucket S3 yang ditautkan:
+ Perubahan isi file
+ Perubahan metadata file atau folder
+ Perubahan target symlink atau metadata
### Memperbarui preferensi impor
Anda dapat mengatur preferensi impor sistem file saat membuat sistem file baru. Untuk informasi selengkapnya, lihat [Menautkan sistem file Anda ke bucket Amazon S3](create-dra-linked-data-repo.md).
Anda juga dapat memperbarui preferensi impor sistem file setelah dibuat menggunakan Konsol AWS Manajemen, AWS CLI, dan Amazon FSx API, seperti yang ditunjukkan dalam prosedur berikut.
------
#### [ Console ]
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Dari dasbor, pilih **Sistem file**.
1. Pilih sistem file yang ingin Anda kelola untuk menampilkan detail sistem file.
1. Pilih **Repositori data** untuk melihat pengaturan repositori data. Anda dapat mengubah preferensi impor jika kondisi siklus hidup **TERSEDIA** atau **SALAH KONFIGURASI**. Untuk informasi selengkapnya, lihat [Kondisi siklus hidup repositori data](#legacy-data-lifecycle).
1. Pilih **Tindakan**, lalu pilih **Perbarui preferensi impor** untuk menampilkan kotak dialog **Perbarui preferensi impor**.
1. Pilih pengaturan baru, lalu pilih **Perbarui** untuk membuat perubahan.
------
#### [ CLI ]
Untuk memperbarui preferensi impor, gunakan perintah CLI [https://docs.aws.amazon.com/cli/latest/reference/fsx/update-file-system.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-file-system.html). Operasi API yang sesuai adalah [https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateFileSystem.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateFileSystem.html).
Setelah Anda berhasil memperbarui sistem file`AutoImportPolicy`, Amazon FSx mengembalikan deskripsi sistem file yang diperbarui sebagai JSON, seperti yang ditunjukkan di sini:
```
{
"FileSystems": [
{
"OwnerId": "111122223333",
"CreationTime": 1549310341.483,
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "LUSTRE",
"Lifecycle": "UPDATING",
"StorageCapacity": 2400,
"VpcId": "vpc-123456",
"SubnetIds": [
"subnet-123456"
],
"NetworkInterfaceIds": [
"eni-039fcf55123456789"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre-TEST-1"
}
],
"LustreConfiguration": {
"DeploymentType": "SCRATCH_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": "NEW_CHANGED_DELETED",
"Lifecycle": "UPDATING",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/export",
"ImportedFileChunkSize": 1024
}
"PerUnitStorageThroughput": 50,
"WeeklyMaintenanceStartTime": "2:04:30"
}
}
]
}
```
------