를 사용하여 SageMaker HyperPod 시작하기 AWS CLI

다음을 로 저장합니다create_cluster.json.

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole",
            "InstanceStorageConfigs": [
                {
                    "EbsVolumeConfig": {
                        "VolumeSizeInGB": 500
                    }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["partition-1"]
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole",
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ]
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    },
    "VpcConfig": {
        "SecurityGroupIds": ["sg-0abc123def456789a"],
        "Subnets": ["subnet-0abc123def456789a"]
    }
}

인스턴스 그룹에LifeCycleConfig는가 지정되지 않습니다.

Slurm 토폴로지는 각 인스턴스 그룹의 SlurmConfig를 통해 정의됩니다. my-controller-group에는 Controller 역할이 할당되고( 실행slurmctld), 사용자 액세스를 위한 Login 노드 my-login-group 역할을 하며,는 작업 예약을 partition-1 위해에 할당된 Compute 노드worker-group-1입니다. 클러스터 수준에서는 HyperPod가 파티션 구성의 단일 신뢰할 수 있는 소스인지 SlurmConfigStrategy: "Managed" 확인합니다. 작업자 그룹에는 공유 스토리지를 /fsx 위해에 탑재된 FSx for Lustre 파일 시스템이 포함되며 FSx에 필요한 클러스터 수준에서 지정VpcConfig됩니다.

클러스터를 생성합니다.

aws sagemaker create-cluster \
    --cli-input-json file://create_cluster.json

상태를 확인합니다.

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

AMI 기반 구성만 사용하는 경우 응답의 인스턴스 그룹에는 LifeCycleConfig 블록이 포함되지 않습니다. 다음은 컨트롤러 인스턴스 그룹을 보여주는 잘린 예제입니다.

{
    "ClusterName": "my-hyperpod-cluster",
    "ClusterStatus": "InService",
    "InstanceGroups": [
        {
            "InstanceGroupName": "my-controller-group",
            "SlurmConfig": { "NodeType": "Controller" }
        }
    ]
}

상태가 로 바뀌면 로 InService진행합니다클러스터에 연결.

확장 스크립트를 작성합니다. 예extend-defaults.sh:

#!/bin/bash
set -e

echo "Running post-initialization customizations..."

# Example: Install a monitoring agent
# apt-get install -y my-monitoring-agent

# Example: Configure LDAP integration
# /opt/custom/setup-ldap.sh

# Example: Mount an additional S3 bucket
# mount-s3 my-data-bucket /mnt/s3-data

echo "Custom extensions complete."

s3://<bucket>/<prefix>/
|-- run_extensions.sh          (OnInitComplete target)
|-- detect-node/               (node type detection utility)
|-- add-users/                 (user management scripts + config)
|-- observability/             (observability scripts + config)

ENABLE_ADD_USERS="true"
ENABLE_OBSERVABILITY="true"

Amazon S3에 업로드(버킷 경로는 로 시작해야 함s3://sagemaker-):

aws s3 cp extend-defaults.sh \
    s3://sagemaker-amzn-s3-demo-bucket/scripts/

다음을 로 저장합니다create_cluster.json.

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "LifeCycleConfig": {
                "OnInitComplete": "extend-defaults.sh",
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/scripts/"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole",
            "InstanceStorageConfigs": [
                {
                    "EbsVolumeConfig": {
                        "VolumeSizeInGB": 500
                    }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "LifeCycleConfig": {
                "OnInitComplete": "extend-defaults.sh",
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/scripts/"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["partition-1"]
            },
            "LifeCycleConfig": {
                "OnInitComplete": "extend-defaults.sh",
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/scripts/"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole"
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    }
}

Slurm 토폴로지는 옵션 A와 동일합니다. 각 인스턴스 그룹에는 노드 역할과 파티션 할당을 SlurmConfig 정의하는 SlurmConfigStrategy: "Managed"이 있으며 클러스터 수준에서 설정됩니다. 유일한 차이점은 LifeCycleConfig 각 노드에서 AMI 기반 구성이 완료된 후 HyperPod에 확장 스크립트를 실행하도록 지시OnInitComplete하는에를 추가하는 것입니다. FSx를 추가하려면 FsxOpenZfsConfigInstanceStorageConfigs에 설명된 대로 관련 인스턴스 그룹에 FsxLustreConfig 또는를 포함하고 클러스터 수준에서 VpcConfig를 추가합니다FSx 및 VPC 구성.

클러스터를 생성합니다.

aws sagemaker create-cluster \
    --cli-input-json file://create_cluster.json

상태를 확인합니다.

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

를 사용하면 응답OnInitComplete이 OnInitComplete에 표시됩니다LifeCycleConfig. 다음은 컨트롤러 인스턴스 그룹을 보여주는 잘린 예제입니다.

{
    "ClusterName": "my-hyperpod-cluster",
    "ClusterStatus": "InService",
    "InstanceGroups": [
        {
            "InstanceGroupName": "my-controller-group",
            "SlurmConfig": { "NodeType": "Controller" },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/scripts/",
                "OnInitComplete": "extend-defaults.sh"
            }
        }
    ]
}

상태가 로 바뀌면 로 InService진행합니다클러스터에 연결.

수명 주기 스크립트를 준비하고 Amazon S3에 업로드합니다. 처음부터 시작하는 경우 Awsome Distributed Training GitHub 리포지토리의 샘플 스크립트를 사용합니다.

git clone https://github.com/aws-samples/awsome-distributed-training/
cd awsome-distributed-training/1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config

Amazon S3에 업로드(버킷 경로는 로 시작해야 함s3://sagemaker-):

aws s3 sync . \
    s3://sagemaker-amzn-s3-demo-bucket/lifecycle/src

수명 주기 스크립트에 대한 자세한 내용은 수명 주기 스크립트를 사용하여 SageMaker HyperPod 클러스터 사용자 지정 섹션을 참조하세요.

다음을 로 저장합니다create_cluster.json.

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/lifecycle/src",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole",
            "InstanceStorageConfigs": [
                {
                    "EbsVolumeConfig": {
                        "VolumeSizeInGB": 500
                    }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/lifecycle/src",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["partition-1"]
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/lifecycle/src",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole"
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    }
}

Slurm 토폴로지는 다른 옵션과 동일한 SlurmConfig 패턴을 따릅니다. 주요 차이점은 LifeCycleConfig와 입니다OnCreate. 이렇게 on_create.sh 하면 HyperPod가 AMI 기반 구성을 완전히 건너뛰고 대신 스크립트를 실행하도록 지시합니다. 스크립트는 소프트웨어 설치, Slurm 구성, Slurm 데몬 시작을 포함한 전체 프로비저닝 시퀀스를 담당합니다. FSx를 추가하려면 FsxOpenZfsConfigInstanceStorageConfigs에 설명된 대로 관련 인스턴스 그룹에 FsxLustreConfig 또는를 포함하고 클러스터 수준에서 VpcConfig를 추가합니다FSx 및 VPC 구성.

클러스터를 생성합니다.

aws sagemaker create-cluster \
    --cli-input-json file://create_cluster.json

상태를 확인합니다.

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

를 사용하면 응답OnCreate이 OnCreate에 표시됩니다LifeCycleConfig. 다음은 컨트롤러 인스턴스 그룹을 보여주는 잘린 예제입니다.

{
    "ClusterName": "my-hyperpod-cluster",
    "ClusterStatus": "InService",
    "InstanceGroups": [
        {
            "InstanceGroupName": "my-controller-group",
            "SlurmConfig": { "NodeType": "Controller" },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/lifecycle/src",
                "OnCreate": "on_create.sh"
            }
        }
    ]
}

상태가 로 바뀌면 로 InService진행합니다클러스터에 연결.

인스턴스 IDs

aws sagemaker list-cluster-nodes --cluster-name my-hyperpod-cluster

AWS Systems Manager 세션 관리자를 사용하여 연결:

aws ssm start-session \
    --target sagemaker-cluster:my-hyperpod-cluster_my-login-group-i-0abc123def456789b \
    --region us-west-2

Slurm이 올바르게 구성되었는지 확인합니다.

# Check Slurm nodes
sinfo

# Check Slurm partitions
sinfo -p partition-1

# Submit a test job
srun -p partition-1 --nodes=1 hostname