View a markdown version of this page

Montagem do Amazon FSx for Lustre e do Amazon FSx for OpenZFS em um cluster HyperPod - SageMaker Inteligência Artificial da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Montagem do Amazon FSx for Lustre e do Amazon FSx for OpenZFS em um cluster HyperPod

Para montar um sistema HyperPod de arquivos compartilhado Amazon FSx for Lustre em seu cluster, configure o seguinte.

  1. Use a sua Amazon VPC.

    1. Para que as instâncias de HyperPod cluster se comuniquem com sua VPC, certifique-se de anexá-las Configuração SageMaker HyperPod com uma Amazon VPC personalizada à função do IAM para. SageMaker HyperPod

    2. Em create_cluster.json, inclua as informações a seguir.

      "VpcConfig": { 
    "SecurityGroupIds": [ "string" ],
    "Subnets": [ "string" ]
}

      Para mais dicas sobre como configurar a Amazon VPC, consulte Pré-requisitos para usar SageMaker HyperPod.

  2. Para concluir a configuração do Slurm com o Amazon FSx for Lustre, você pode usar uma das seguintes abordagens. Você pode encontrar as informações do Amazon FSx no console do Amazon FSx for Lustre em sua conta ou executando o seguinte comando,. AWS CLI aws fsx describe-file-systems

    Opção A: API-Driven Configuração (recomendada)

    Especifique a configuração do Amazon FSx diretamente na carga da CreateCluster API usando InstanceStorageConfigs dentro de cada grupo de instâncias. Essa abordagem suporta FSx for Lustre e FSx for OpenZFS e permite a configuração de FSx por grupo de instâncias.

    "InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx",
            "MountName": "1abcdefg"
        }
    }
]

    Para FSx for OpenZFS, use em vez disso: FsxOpenZfsConfig

    "InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx-openzfs"
        }
    }
]

    Para obter mais detalhes, consulte Introdução ao SageMaker HyperPod uso da AWS CLI.

    Opção B: Configuração legada

    Especifique o nome DNS do Amazon FSx e o nome da montagem do Amazon FSx provisioning_parameters.json conforme mostrado na figura da seção. Scripts básicos de ciclo de vida fornecidos por HyperPod

    "fsx_dns_name": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
"fsx_mountname": "1abcdefg"