View a markdown version of this page

Montaje de Amazon FSx para Lustre y Amazon FSx para OpenZFS en un clúster HyperPod - Amazon SageMaker AI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Montaje de Amazon FSx para Lustre y Amazon FSx para OpenZFS en un clúster HyperPod

Para montar un sistema HyperPod de archivos compartidos Amazon FSx for Lustre en su clúster, configure lo siguiente.

  1. Utilice su Amazon VPC.

    1. Para que las instancias de HyperPod clúster se comuniquen dentro de su VPC, asegúrese de asociarlas Configuración SageMaker HyperPod con una Amazon VPC personalizada a la función de IAM para. SageMaker HyperPod

    2. En create_cluster.json, incluya la siguiente información de la VPC.

      "VpcConfig": { 
    "SecurityGroupIds": [ "string" ],
    "Subnets": [ "string" ]
}

      Para obtener más consejos sobre cómo configurar Amazon VPC, consulte Requisitos previos para su uso SageMaker HyperPod.

  2. Para terminar de configurar Slurm con Amazon FSx for Lustre, puede utilizar uno de los siguientes enfoques. Puede encontrar la información de Amazon FSx en la consola Amazon FSx for Lustre de su cuenta o ejecutando el siguiente comando,. AWS CLI aws fsx describe-file-systems

    Opción A: API-Driven Configuración (recomendada)

    Especifica la configuración de Amazon FSx directamente en la carga útil de la CreateCluster API desde cada grupo InstanceStorageConfigs de instancias. Este enfoque es compatible con FSx for Lustre y FSx para OpenZFS, y permite la configuración de FSx por grupo de instancias.

    "InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx",
            "MountName": "1abcdefg"
        }
    }
]

    En el caso de FSx para OpenZFS, utilice en su lugar: FsxOpenZfsConfig

    "InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx-openzfs"
        }
    }
]

    Para obtener más información, consulte Cómo empezar a SageMaker HyperPod usar la AWS CLI.

    Opción B: configuración antigua

    Especifique el nombre DNS de Amazon FSx y el nombre de montaje de Amazon FSx provisioning_parameters.json como se muestra en la figura de la sección. Los scripts de ciclo de vida básicos proporcionados por HyperPod

    "fsx_dns_name": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
"fsx_mountname": "1abcdefg"