View a markdown version of this page

Memasang Amazon FSx untuk Lustre dan Amazon FSx untuk OpenZFS ke sebuah cluster HyperPod - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memasang Amazon FSx untuk Lustre dan Amazon FSx untuk OpenZFS ke sebuah cluster HyperPod

Untuk memasang sistem file bersama Amazon FSx for Lustre ke HyperPod kluster Anda, siapkan yang berikut ini.

  1. Gunakan Amazon VPC Anda.

    1. Agar instance HyperPod klaster dapat berkomunikasi dalam VPC Anda, pastikan Anda melampirkan Menyiapkan SageMaker HyperPod dengan VPC Amazon khusus ke peran IAM untuk. SageMaker HyperPod

    2. Dalamcreate_cluster.json, sertakan informasi VPC berikut.

      "VpcConfig": { 
    "SecurityGroupIds": [ "string" ],
    "Subnets": [ "string" ]
}

      Untuk tips selengkapnya tentang menyiapkan Amazon VPC, lihat. Prasyarat untuk menggunakan SageMaker HyperPod

  2. Untuk menyelesaikan konfigurasi Slurm dengan Amazon FSx untuk Lustre, Anda dapat menggunakan salah satu pendekatan berikut. Anda dapat menemukan FSx informasi Amazon baik dari konsol Amazon FSx untuk Lustre di akun Anda atau dengan menjalankan AWS CLI perintah berikut,. aws fsx describe-file-systems

    Opsi A: Konfigurasi Berbasis API (Disarankan)

    Tentukan FSx konfigurasi Amazon secara langsung di payload CreateCluster API menggunakan InstanceStorageConfigs dalam setiap grup instans. Pendekatan ini mendukung baik FSx untuk Lustre dan FSx untuk OpenZFS, dan memungkinkan konfigurasi. per-instance-group FSx 

    "InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx",
            "MountName": "1abcdefg"
        }
    }
]

    Untuk FSx untuk OpenZFS, gunakan FsxOpenZfsConfig sebagai gantinya:

    "InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx-openzfs"
        }
    }
]

    Untuk detail selengkapnya, lihat Memulai SageMaker HyperPod menggunakan AWS CLI.

    Opsi B: Konfigurasi Warisan

    Tentukan nama FSx DNS Amazon dan nama FSx mount Amazon provisioning_parameters.json seperti yang ditunjukkan pada gambar di Skrip siklus hidup dasar yang disediakan oleh HyperPod bagian.

    "fsx_dns_name": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
"fsx_mountname": "1abcdefg"