Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Apakah Amazon FSx for Lustre itu?
FSx for Lustre memudahkan dan hemat biaya untuk meluncurkan dan menjalankan sistem file berkinerja tinggi yang populer. Lustre Gunakan Lustre untuk beban kerja di mana kecepatan penting, seperti machine learning, komputasi performa tinggi (HPC), pemrosesan video, dan pemodelan keuangan.
Sistem Lustre file dirancang untuk aplikasi yang membutuhkan penyimpanan cepat — di mana Anda ingin penyimpanan Anda mengikuti komputasi Anda. Lustredibangun untuk memecahkan masalah pemrosesan kumpulan data dunia yang terus berkembang dengan cepat dan murah. Ini adalah sistem file yang banyak digunakan yang dirancang untuk komputer tercepat di dunia. Ini menyediakan latensi sub-milidetik, hingga beberapa TBP throughput dan hingga jutaan IOPS. Untuk informasi lebih lanjut tentangLustre, lihat situs Lustreweb
Sebagai layanan yang dikelola sepenuhnya, Amazon FSx memudahkan Anda menggunakannya Lustre untuk beban kerja di mana kecepatan penyimpanan penting. FSx for Lustre menghilangkan kompleksitas tradisional dalam menyiapkan Lustre dan mengelola sistem file, memungkinkan Anda untuk memutar dan menjalankan sistem file berkinerja tinggi yang teruji pertempuran dalam hitungan menit. Ini juga menyediakan beberapa opsi penyebaran dan kelas penyimpanan sehingga Anda dapat mengoptimalkan biaya untuk kebutuhan Anda.
FSx for POSIX-compliant Lustre adalah, sehingga Anda dapat menggunakan aplikasi Linux-based Anda saat ini tanpa harus membuat perubahan apa pun. FSx for Lustre menyediakan antarmuka sistem file asli dan berfungsi seperti sistem file apa pun dengan sistem operasi Linux Anda. Ini juga memberikan konsistensi membaca setelah menulis dan mensupport penguncian file.
Topik
Beberapa opsi penerapan dan kelas penyimpanan
Amazon FSx for Lustre menawarkan pilihan sistem file scratch dan persisten untuk mengakomodasi perlunya pengolahan data yang berbeda. Sistem file scratch yang ideal untuk penyimpanan sementara dan pengolahan jangka pendek data. Data tidak direplikasi dan tidak dipersistensi jika file server gagal. Sistem file persisten sangat ideal untuk penyimpanan jangka panjang dan beban kerja yang berfokus pada throughput. Dalam sistem file persisten, data direplikasi, dan server file diganti jika mereka gagal. Untuk informasi selengkapnya, lihat Opsi kelas penyebaran dan penyimpanan untuk sistem file FSx for Lustre.
Amazon FSx for Lustre menawarkan kelas penyimpanan solid state drive (SSD Intelligent-Tiering), dan hard disk drive (HDD) yang dioptimalkan untuk persyaratan pemrosesan data yang berbeda:
Kelas penyimpanan SSD dioptimalkan untuk beban kerja yang memiliki operasi file acak kecil dan membutuhkan throughput hingga TBP. Ini menyediakan akses latensi sub-milidetik yang konsisten ke kumpulan data lengkap Anda.
Kelas Intelligent-Tiering penyimpanan cocok dan direkomendasikan untuk sebagian besar beban kerja yang tidak memerlukan latensi rendah yang konsisten di seluruh kumpulan data lengkap Anda. Ini menyediakan penyimpanan yang sepenuhnya elastis dan hemat biaya, hingga beberapa TBP throughput dan akses latensi sub-milidetik ke data yang sering diakses dengan cache baca SSD opsional.
Kelas penyimpanan HDD dapat digunakan dengan beban kerja yang membutuhkan latensi ms satu digit yang konsisten dan throughput hingga puluhan GBps untuk kumpulan data lengkap Anda. Anda dapat secara opsional menyediakan cache baca SSD yang berukuran hingga 20% dari kapasitas penyimpanan HDD Anda.
Untuk informasi selengkapnya, lihat FSx for Lustre kelas penyimpanan.
FSx for Lustre dan repositori data
Anda dapat menautkan sistem file FSx for Lustre ke repositori data di Amazon S3 atau ke penyimpanan data lokal.
FSx for Lustre S3 integrasi repositori data
FSx for Lustre terintegrasi dengan Amazon S3, sehingga memudahkan Anda memproses kumpulan data cloud menggunakan sistem file berkinerja tinggi. Lustre Saat ditautkan ke bucket Amazon S3, sistem file FSx for Lustre secara transparan menampilkan objek S3 sebagai file. Amazon FSx mengimpor daftar semua file yang ada di bucket S3 Anda pada pembuatan sistem file. Amazon FSx juga dapat mengimpor daftar file yang ditambahkan ke repositori data setelah sistem file dibuat. Anda dapat mengatur preferensi impor agar sesuai dengan kebutuhan alur kerja Anda. Sistem file juga memungkinkan Anda untuk menulis data sistem file kembali ke S3. Tugas repositori data menyederhanakan transfer data dan metadata antara sistem file FSx for Lustre Anda dan repositori data yang tahan lama di Amazon S3. Untuk informasi selengkapnya, lihat Menggunakan repositori data dengan Amazon FSx for Lustre dan Tugas repositori data.
FSx for Lustre dan repositori data lokal
Dengan Amazon FSx for Lustre, Anda dapat mem-burst beban kerja pemrosesan data dari lokal ke lokasi AWS Cloud dengan mengimpor data menggunakan atau. Direct Connect Site-to-Site VPN Untuk informasi selengkapnya, lihat Menggunakan Amazon FSx dengan data lokal.
Mengakses sistem file FSx for Lustre
Anda dapat mencampur dan mencocokkan jenis instans komputasi dan Linux Amazon Machine Images (AMI) yang terhubung ke satu sistem file FSx for Lustre.
Sistem file Amazon FSx for Lustre dapat diakses dari beban kerja komputasi yang berjalan di instans Amazon Elastic Compute Cloud (Amazon EC2), di Amazon Elastic Container Service (Amazon ECS) container Docker, dan container yang berjalan di Amazon Elastic Kubernetes Service (Amazon EKS).
Amazon EC2 — Anda mengakses sistem file dari instans komputasi Amazon EC2 menggunakan klien sumber terbuka. Lustre Instans Amazon EC2 dapat mengakses sistem file Anda dari Availability Zone di Amazon Virtual Private Cloud (Amazon VPC) yang sama, asalkan konfigurasi jaringan Anda menyediakan akses di seluruh subnet dalam VPC. Setelah sistem file Amazon FSx for Lustre terpasang, Anda dapat bekerja dengan file dan direktorinya seperti yang Anda lakukan menggunakan sistem file lokal.
Amazon EKS — Anda mengakses Amazon FSx for Lustre dari kontainer yang berjalan di Amazon EKS menggunakan driver open-source FSx for Lustre CSI, seperti yang dijelaskan dalam Panduan Pengguna Amazon EKS. kontainer Anda yang berjalan di Amazon EKS dapat menggunakan volume persisten performa tinggi (PVs) yang didukung oleh Amazon FSx for Lustre.
Amazon ECS - Anda mengakses Amazon FSx for Lustre dari wadah Amazon ECS Docker di instans Amazon EC2. Untuk informasi selengkapnya, lihat Pemasangan dari Amazon Elastic Container Service.
Amazon FSx for Lustre kompatibel dengan AMI Linux-based paling populer, termasuk Amazon Linux 2023 dan Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Ubuntu, dan SUSE Linux. LustreKlien disertakan dengan Amazon Linux 2023 dan Amazon Linux 2. Untuk RHEL, CentOS, dan Ubuntu, AWS Lustre repositori klien menyediakan klien yang kompatibel dengan sistem operasi ini.
Menggunakan FSx for Lustre, Anda dapat mengeluarkan beban kerja intensif komputasi dari lokal ke lokasi dengan mengimpor data melalui atau. AWS Cloud Direct Connect AWS Virtual Private Network Anda dapat mengakses sistem file Amazon FSx dari on-premise, menyalin data ke sistem file sesuai kebutuhan, dan menjalankan beban kerja komputasi intensif pada instans di cloud.
Untuk informasi selengkapnya tentang klien, instance komputasi, dan lingkungan tempat Anda dapat mengakses sistem file FSx for Lustre, lihat. Mengakses sistem file
Integrasi dengan AWS layanan
Amazon FSx for Lustre terintegrasi SageMaker dengan Amazon AI sebagai sumber data input. Saat menggunakan SageMaker AI dengan FSx for Lustre, pekerjaan pelatihan pembelajaran mesin Anda dipercepat dengan menghilangkan langkah pengunduhan awal dari Amazon S3. Selain itu, total biaya kepemilikan (TCO) dikurangi dengan menghindari mengunduh berulang objek umum untuk tugas berulang pada dataset yang sama seperti yang Anda hemat dengan biaya permintaan S3. Untuk informasi lebih lanjut, lihat Apa Itu SageMaker AI? di Panduan Pengembang SageMaker AI Amazon. Untuk panduan tentang cara menggunakan Amazon FSx for Lustre sebagai SageMaker sumber data untuk AI, lihat Mempercepat pelatihan di Amazon AI menggunakan SageMaker Amazon FSx for Lustre dan sistem file Amazon EFS di Blog Machine
FSx for Lustre AWS Batch terintegrasi dengan menggunakan EC2 Launch Templates. AWS Batch memungkinkan Anda menjalankan beban kerja komputasi batch pada AWS Cloud, termasuk komputasi kinerja tinggi (HPC), pembelajaran mesin (ML), dan beban kerja asinkron lainnya. AWS Batch secara otomatis dan dinamis mengukur instance berdasarkan persyaratan sumber daya pekerjaan. Untuk informasi lebih lanjut, lihat Apa itu AWS Batch? dalam AWS Batch User Guide.
FSx for Lustre terintegrasi dengan. AWS ParallelCluster AWS ParallelCluster adalah alat manajemen cluster sumber terbuka yang AWS didukung yang digunakan untuk menyebarkan dan mengelola cluster HPC. Secara otomatis dapat membuat FSx for Lustre sistem file atau menggunakan sistem file yang ada selama proses pembuatan cluster.
Keamanan dan kepatuhan
Sistem file FSx for Lustre mendukung enkripsi saat istirahat dan dalam perjalanan. Amazon FSx secara otomatis mengenkripsi data sistem file saat istirahat menggunakan kunci yang dikelola di (). AWS Key Management Service AWS KMS Data dalam perjalanan juga secara otomatis dienkripsi pada sistem file tertentu Wilayah AWS ketika diakses dari instans Amazon EC2 yang didukung. Untuk informasi selengkapnya tentang enkripsi data di FSx for Lustre Wilayah AWS , termasuk di mana enkripsi data dalam perjalanan didukung, lihat. Enkripsi data di Amazon FSx for Lustre Amazon FSx telah dinilai untuk mematuhi sertifikasi ISO,, dan SOC PCI-DSS, dan memenuhi syarat HIPAA. Untuk informasi selengkapnya, lihat Keamanan di Amazon FSx for Lustre.
Asumsi
Dalam panduan ini, kami membuat asumsi berikut:
-
Jika Anda menggunakan Amazon Elastic Compute Cloud (Amazon EC2), kita asumsikan bahwa Anda sudah familiar dengan layanan tersebut. Untuk informasi lebih lanjut tentang cara menggunakan Amazon EC2, lihat Dokumentasi Amazon EC2.
-
Kami berasumsi bahwa Anda sudah familiar dengan menggunakan Amazon Virtual Private Cloud (Amazon VPC). Untuk informasi lebih lanjut tentang cara menggunakan Amazon VPC, lihat Panduan Pengguna Amazon VPC.
-
Kami berasumsi bahwa Anda belum mengubah aturan pada grup keamanan default untuk VPC Anda berdasarkan layanan Amazon VPC. Jika Anda telah mengubahnya, pastikan bahwa Anda menambahkan aturan yang diperlukan untuk mengizinkan lalu lintas jaringan dari instans Amazon EC2 Anda ke sistem file Amazon FSx for Lustre. Untuk rincian lebih lanjut, lihat Kontrol akses sistem file dengan Amazon VPC.
Harga untuk Amazon FSx for Lustre
Dengan Amazon FSx for Lustre, tidak ada biaya perangkat keras atau perangkat lunak dimuka. Anda hanya membayar sumber daya yang digunakan, tanpa komitmen minimum, biaya penyiapan, atau biaya tambahan. Untuk informasi tentang harga dan biaya yang terkait dengan layanan, lihat Harga Amazon FSx for Lustre
Forum Amazon FSx for Lustre
Jika Anda mengalami masalah saat menggunakan Amazon FSx for Lustre, periksa Forum
Apakah Anda baru pertama kali menggunakan Amazon FSx for Lustre?
Jika pengguna Amazon FSx for Lustre pertama kali, kami merekomendasikan agar Anda membaca bagian-bagian berikut secara berurutan:
-
Jika Anda siap untuk membuat sistem file Amazon FSx for Lustre pertama Anda, cobalah Memulai dengan Amazon FSx for Lustre.
-
Untuk informasi tentang performa, lihat Performa Amazon FSx for Lustre.
-
Untuk informasi tentang menghubungkan sistem file Anda ke repositori data bucket Amazon S3, lihat Menggunakan repositori data dengan Amazon FSx for Lustre.
-
Untuk detail keamanan Amazon FSx for Lustre, lihat Keamanan di Amazon FSx for Lustre.
-
Untuk informasi tentang batas skalabilitas Amazon FSx for Lustre, termasuk throughput dan ukuran sistem file, lihat Kuota layanan untuk Amazon FSx for Lustre.
-
Untuk informasi mengenai API Amazon FSx for Lustre, lihat Referensi Amazon FSx for Lustre.
