View a markdown version of this page

將 Amazon FSx for Lustre 和 Amazon FSx for OpenZFS 掛載到 HyperPod 叢集 - Amazon SageMaker AI

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

將 Amazon FSx for Lustre 和 Amazon FSx for OpenZFS 掛載到 HyperPod 叢集

若要將 Amazon FSx for Lustre 共用檔案系統掛載到您的 HyperPod 叢集，設定如下。

  1. 使用您的 Amazon VPC。

    1. 如需 HyperPod 叢集執行個體在 VPC 內通訊，請確定您將 使用自訂 Amazon VPC 設定 SageMaker HyperPod 連接至 SageMaker HyperPod 的 IAM 角色。

    2. 在 create_cluster.json 中，包含以下 VPC 資訊。

      "VpcConfig": { 
    "SecurityGroupIds": [ "string" ],
    "Subnets": [ "string" ]
}

      如需設定 Amazon VPC 的更多秘訣，請參閱使用 SageMaker HyperPod 的先決條件。

  2. 若要使用 Amazon FSx for Lustre 完成設定 Slurm，您可以使用下列其中一種方法。您可以從帳戶中的 Amazon FSx for Lustre 主控台或執行下列 AWS CLI 命令 來尋找 Amazon FSx 資訊aws fsx describe-file-systems。

    選項 A：API 驅動組態 （建議）

    在每個執行個體群組中使用 ，直接在 CreateCluster API 承載InstanceStorageConfigs中指定 Amazon FSx 組態。此方法同時支援 FSx for Lustre 和 FSx for OpenZFS，並允許per-instance-group FSx 組態。

    "InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx",
            "MountName": "1abcdefg"
        }
    }
]

    對於 FSx for OpenZFS，請FsxOpenZfsConfig改用 ：

    "InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx-openzfs"
        }
    }
]

    如需詳細資訊，請參閱使用 CLI AWS 開始使用 SageMaker HyperPod。

    選項 B：舊版組態

    在 中指定 Amazon FSx DNS 名稱和 Amazon FSx 掛載名稱provisioning_parameters.json，如 HyperPod 提供的基本生命週期指令碼區段中的圖所示。

    "fsx_dns_name": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
"fsx_mountname": "1abcdefg"