を使用した SageMaker HyperPod の開始方法 AWS CLI

次のように として保存しますcreate_cluster.json。

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole",
            "InstanceStorageConfigs": [
                {
                    "EbsVolumeConfig": {
                        "VolumeSizeInGB": 500
                    }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["partition-1"]
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole",
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ]
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    },
    "VpcConfig": {
        "SecurityGroupIds": ["sg-0abc123def456789a"],
        "Subnets": ["subnet-0abc123def456789a"]
    }
}

インスタンスグループには LifeCycleConfigが指定されていないことに注意してください。

Slurm トポロジは、各インスタンスグループSlurmConfigで を介して定義されます。 my-controller-groupにはControllerロールが割り当てられ ( を実行slurmctld)、ユーザーアクセスのLoginノードmy-login-groupとして機能し、 はジョブスケジューリングpartition-1の に割り当てられたComputeノードworker-group-1です。クラスターレベルでは、 は HyperPod がパーティション設定の唯一の信頼できるソースであることをSlurmConfigStrategy: "Managed"保証します。ワーカーグループには、共有ストレージ/fsx用に にマウントされた FSx for Lustre ファイルシステムが含まれており、FSx の必要に応じてクラスターレベルでVpcConfig指定されます。

クラスターを作成します。

aws sagemaker create-cluster \
    --cli-input-json file://create_cluster.json

ステータスを確認します。

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

AMI ベースの設定のみの場合、レスポンスのインスタンスグループにはLifeCycleConfigブロックは含まれません。以下は、コントローラーインスタンスグループを示す切り捨てられた例です。

{
    "ClusterName": "my-hyperpod-cluster",
    "ClusterStatus": "InService",
    "InstanceGroups": [
        {
            "InstanceGroupName": "my-controller-group",
            "SlurmConfig": { "NodeType": "Controller" }
        }
    ]
}

ステータスが になったらInService、 に進みますクラスターに接続する。

拡張機能スクリプトを記述します。例extend-defaults.sh:

#!/bin/bash
set -e

echo "Running post-initialization customizations..."

# Example: Install a monitoring agent
# apt-get install -y my-monitoring-agent

# Example: Configure LDAP integration
# /opt/custom/setup-ldap.sh

# Example: Mount an additional S3 bucket
# mount-s3 my-data-bucket /mnt/s3-data

echo "Custom extensions complete."

s3://<bucket>/<prefix>/
|-- run_extensions.sh          (OnInitComplete target)
|-- detect-node/               (node type detection utility)
|-- add-users/                 (user management scripts + config)
|-- observability/             (observability scripts + config)

ENABLE_ADD_USERS="true"
ENABLE_OBSERVABILITY="true"

Amazon S3 にアップロードする (バケットパスは で始まる必要がありますs3://sagemaker-)。

aws s3 cp extend-defaults.sh \
    s3://sagemaker-amzn-s3-demo-bucket/scripts/

次のように として保存しますcreate_cluster.json。

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "LifeCycleConfig": {
                "OnInitComplete": "extend-defaults.sh",
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/scripts/"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole",
            "InstanceStorageConfigs": [
                {
                    "EbsVolumeConfig": {
                        "VolumeSizeInGB": 500
                    }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "LifeCycleConfig": {
                "OnInitComplete": "extend-defaults.sh",
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/scripts/"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["partition-1"]
            },
            "LifeCycleConfig": {
                "OnInitComplete": "extend-defaults.sh",
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/scripts/"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole"
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    }
}

Slurm トポロジはオプション A と同じです。各インスタンスグループにはノードロールとパーティション割り当てSlurmConfigを定義する があり、クラスターレベルでSlurmConfigStrategy: "Managed"設定されます。唯一の違いは、 LifeCycleConfigに を追加することです。これによりOnInitComplete、各ノードで AMI ベースの設定が完了した後に、拡張スクリプトを実行するように HyperPod に指示します。FSx を追加するには、関連するインスタンスグループに FsxLustreConfigまたは FsxOpenZfsConfigを InstanceStorageConfigs に含め、VpcConfig「」で説明されているようにクラスターレベルで を追加しますFSx と VPC の設定。

クラスターを作成します。

aws sagemaker create-cluster \
    --cli-input-json file://create_cluster.json

ステータスを確認します。

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

ではOnInitComplete、レスポンスが OnInitCompleteに表示されますLifeCycleConfig。以下は、コントローラーインスタンスグループを示す切り捨てられた例です。

{
    "ClusterName": "my-hyperpod-cluster",
    "ClusterStatus": "InService",
    "InstanceGroups": [
        {
            "InstanceGroupName": "my-controller-group",
            "SlurmConfig": { "NodeType": "Controller" },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/scripts/",
                "OnInitComplete": "extend-defaults.sh"
            }
        }
    ]
}

ステータスが になったらInService、 に進みますクラスターに接続する。

ライフサイクルスクリプトを準備して Amazon S3 にアップロードします。最初から開始する場合は、Awsome Distributed Training GitHub リポジトリのサンプルスクリプトを使用します。

git clone https://github.com/aws-samples/awsome-distributed-training/
cd awsome-distributed-training/1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config

Amazon S3 にアップロードする (バケットパスは で始まる必要がありますs3://sagemaker-)。

aws s3 sync . \
    s3://sagemaker-amzn-s3-demo-bucket/lifecycle/src

ライフサイクルスクリプトの詳細については、「ライフサイクルスクリプトを使用して SageMaker HyperPod クラスターをカスタマイズする」を参照してください。

次のように として保存しますcreate_cluster.json。

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/lifecycle/src",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole",
            "InstanceStorageConfigs": [
                {
                    "EbsVolumeConfig": {
                        "VolumeSizeInGB": 500
                    }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/lifecycle/src",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["partition-1"]
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/lifecycle/src",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodExecutionRole"
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    }
}

Slurm トポロジは、他のオプションと同じSlurmConfigパターンに従います。主な違いは LifeCycleConfigですOnCreate。これにより、HyperPod は AMI ベースの設定を完全にスキップし、代わりにon_create.shスクリプトを実行するように指示されます。スクリプトは、ソフトウェアのインストール、Slurm の設定、Slurm デーモンの開始など、プロビジョニングシーケンス全体を担当します。FSx を追加するには、関連するインスタンスグループに FsxLustreConfigまたは FsxOpenZfsConfigを InstanceStorageConfigs に含め、VpcConfig「」で説明されているようにクラスターレベルで を追加しますFSx と VPC の設定。

クラスターを作成します。

aws sagemaker create-cluster \
    --cli-input-json file://create_cluster.json

ステータスを確認します。

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

ではOnCreate、レスポンスが OnCreateに表示されますLifeCycleConfig。以下は、コントローラーインスタンスグループを示す切り捨てられた例です。

{
    "ClusterName": "my-hyperpod-cluster",
    "ClusterStatus": "InService",
    "InstanceGroups": [
        {
            "InstanceGroupName": "my-controller-group",
            "SlurmConfig": { "NodeType": "Controller" },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-amzn-s3-demo-bucket/lifecycle/src",
                "OnCreate": "on_create.sh"
            }
        }
    ]
}

ステータスが になったらInService、 に進みますクラスターに接続する。

インスタンス IDs。

aws sagemaker list-cluster-nodes --cluster-name my-hyperpod-cluster

AWS Systems Manager Session Manager を使用して接続します。

aws ssm start-session \
    --target sagemaker-cluster:my-hyperpod-cluster_my-login-group-i-0abc123def456789b \
    --region us-west-2

Slurm が正しく設定されていることを確認します。

# Check Slurm nodes
sinfo

# Check Slurm partitions
sinfo -p partition-1

# Submit a test job
srun -p partition-1 --nodes=1 hostname