Montando o Amazon FSx for Lustre e o Amazon FSx for OpenZFS em um cluster HyperPod - SageMaker Inteligência Artificial da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Montando o Amazon FSx for Lustre e o Amazon FSx for OpenZFS em um cluster HyperPod

Para montar um sistema de arquivos compartilhado Amazon FSx for Lustre em seu HyperPod cluster, configure o seguinte.

  1. Use a sua Amazon VPC.

    1. Para que as instâncias de HyperPod cluster se comuniquem com sua VPC, certifique-se de anexá-las Configuração SageMaker HyperPod com uma Amazon VPC personalizada à função do IAM para. SageMaker HyperPod

    2. Em create_cluster.json, inclua as informações a seguir.

      "VpcConfig": { 
    "SecurityGroupIds": [ "string" ],
    "Subnets": [ "string" ]
}

      Para mais dicas sobre como configurar a Amazon VPC, consulte Pré-requisitos para usar SageMaker HyperPod.

  2. Para concluir a configuração do Slurm com o Amazon FSx for Lustre, você pode usar uma das seguintes abordagens. Você pode encontrar as FSx informações da Amazon no console do Amazon FSx for Lustre em sua conta ou executando o seguinte AWS CLI comando,aws fsx describe-file-systems.

    Opção A: configuração baseada em API (recomendada)

    Especifique a FSx configuração da Amazon diretamente na carga da CreateCluster API usando InstanceStorageConfigs dentro de cada grupo de instâncias. Essa abordagem é compatível tanto com FSx o Lustre quanto com FSx o OpenZFS e permite a configuração. per-instance-group FSx 

    "InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx",
            "MountName": "1abcdefg"
        }
    }
]

    FSx Para OpenZFS, use FsxOpenZfsConfig em vez disso:

    "InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx-openzfs"
        }
    }
]

    Para obter mais detalhes, consulte Introdução ao SageMaker HyperPod uso da AWS CLI.

    Opção B: Configuração legada

    Especifique o nome do Amazon FSx DNS e o nome da FSx montagem da Amazon provisioning_parameters.json conforme mostrado na figura na Scripts básicos de ciclo de vida fornecidos por HyperPod seção.

    "fsx_dns_name": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
"fsx_mountname": "1abcdefg"