View a markdown version of this page

Montage d'Amazon FSx for Lustre et d'Amazon FSx pour OpenZFS sur un cluster HyperPod - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Montage d'Amazon FSx for Lustre et d'Amazon FSx pour OpenZFS sur un cluster HyperPod

Pour monter un système de fichiers partagé Amazon FSx for Lustre sur HyperPod votre cluster, configurez ce qui suit.

  1. Utilisez votre réseau Amazon VPC.

    1. Pour que les instances de HyperPod cluster communiquent au sein de votre VPC, assurez-vous de les associer Configuration SageMaker HyperPod avec un Amazon VPC personnalisé au rôle IAM pour. SageMaker HyperPod

    2. Dans create_cluster.json, incluez les informations de VPC suivantes.

      "VpcConfig": { 
    "SecurityGroupIds": [ "string" ],
    "Subnets": [ "string" ]
}

      Pour plus de conseils sur la configuration d’Amazon VPC, consultez Conditions préalables à l'utilisation SageMaker HyperPod.

  2. Pour terminer la configuration de Slurm avec Amazon FSx for Lustre, vous pouvez utiliser l'une des approches suivantes. Vous pouvez trouver les informations Amazon FSx depuis la console Amazon FSx for Lustre de votre compte ou en exécutant la commande suivante,. AWS CLI aws fsx describe-file-systems

    Option A : API-Driven Configuration (recommandée)

    Spécifiez la configuration Amazon FSx directement dans la charge utile de l' CreateCluster API InstanceStorageConfigs au sein de chaque groupe d'instances. Cette approche prend en charge à la fois FSx for Lustre et FSx pour OpenZFS, et permet la configuration de FSx par groupe d'instances.

    "InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx",
            "MountName": "1abcdefg"
        }
    }
]

    Pour FSx pour OpenZFS, utilisez plutôt : FsxOpenZfsConfig

    "InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx-openzfs"
        }
    }
]

    Pour plus de détails, consultez Commencer à SageMaker HyperPod utiliser la AWS CLI.

    Option B : ancienne configuration

    Spécifiez le nom DNS Amazon FSx et le nom de montage Amazon FSx provisioning_parameters.json comme indiqué dans la figure de la section. Scripts de cycle de vie de base fournis par HyperPod

    "fsx_dns_name": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
"fsx_mountname": "1abcdefg"