チュートリアル - Amazon SageMaker HyperPod チェックポイントレス事前トレーニング Llama 3 70b

仮想環境をセットアップします。Python が 3.10 以上 3.14 未満を使用していることを確認してください。

python3 -m venv ${PWD}/venv
source venv/bin/activate

kubectl と eksctl をセットアップする

Helm のインストール

Kubernetes クラスターに接続する

aws eks update-kubeconfig --region "${CLUSTER_REGION}" --name "${CLUSTER_NAME}"

以下のいずれかの方法で、依存関係をインストールします。

1. メソッド 1: SageMaker HyperPod レシピメソッド:

   # install SageMaker HyperPod Recipes.
   git clone --recursive git@github.com:aws/sagemaker-hyperpod-recipes.git
   cd sagemaker-hyperpod-recipes
   pip3 install -r requirements.txt

2. 方法 2: 事前定義されたジョブ yaml メソッドを使用した kubectl

   # install SageMaker HyperPod checkpointless training.
   git clone git@github.com:aws/sagemaker-hyperpod-checkpointless-training.git
   cd sagemaker-hyperpod-checkpointless-training

launcher_scripts/llama/run_checkpointless_llama3_70b_pretrain.sh の更新

Deep Learning コンテナ。チェックポイントレストレーニングコンテナの最新リリースを確認するには、「チェックポイントレストレーニングリリースノート」を参照してください。

#!/bin/bash

SAGEMAKER_TRAINING_LAUNCHER_DIR=${SAGEMAKER_TRAINING_LAUNCHER_DIR:-"$(pwd)"}
TRAIN_DIR="${TRAIN_DIR}"
VAL_DIR="${VAL_DIR}"
EXP_DIR="${EXP_DIR}"
LOG_DIR="${LOG_DIR}"
CONTAINER_MOUNT="/data"
CONTAINER="${CONTAINER}"

HYDRA_FULL_ERROR=1 python3 "${SAGEMAKER_TRAINING_LAUNCHER_DIR}/main.py" \
    recipes=training/llama/checkpointless_llama3_70b_pretrain \
    recipes.dataset.dataset_path="${TRAIN_DIR}" \
    recipes.exp_manager.exp_dir="${EXP_DIR}" \
    recipes.log_dir="${LOG_DIR}" \
    recipes.data.global_batch_size=16 \
    recipes.data.micro_batch_size=4 \
    base_results_dir="${SAGEMAKER_TRAINING_LAUNCHER_DIR}/results" \
    git.use_default=false \
    cluster=k8s \
    cluster_type=k8s \
    container="${CONTAINER}" \
    +cluster.hostNetwork=true \
    +cluster.persistent_volume_claims.0.claimName=fsx-claim \
    +cluster.persistent_volume_claims.0.mountPath="${CONTAINER_MOUNT}" \
    +recipes.dataset.val_dataset_path="${VAL_DIR}" \
    ++recipes.callbacks.3.test_fault_config.fault_prob_between_lock=1 \

トレーニングジョブを起動する

bash launcher_scripts/llama/run_checkpointless_llama3_70b_pretrain.sh

トレーニングジョブを送信したら、次のコマンドを使用して、送信が正常に完了したかどうかを確認できます。

kubectl get pods

NAME                             READY   STATUS             RESTARTS        AGE
llama-3-70b-worker-0             0/1    running               0            36s

STATUS が PENDING または ContainerCreating の場合、次のコマンドを実行して詳細を取得します。

kubectl describe pod <name of pod>

ジョブのステータスが「実行中」に変わったら、以下のコマンドを使用してログを確認できます。

kubectl logs <name of pod>

kubectl get pods を実行すると、STATUS は Completed になります。

examples/llama3/launch/pretrain_llama3_70b_checkpointless_p5.yaml の更新

で kubectl を使用してジョブを送信する pretrain_llama3_70b_checkpointless_p5.yaml

kubectl apply -f examples/llama3/launch/pretrain_llama3_70b_checkpointless_p5.yaml

トレーニングジョブを送信したら、次のコマンドを使用して、送信が正常に完了したかどうかを確認できます。

kubectl get pods

NAME                                             READY   STATUS             RESTARTS        AGE
llama3-pretrain-checkpointless-worker-0             0/1    running               0            36s

STATUS が PENDING または ContainerCreating の場合、次のコマンドを実行して詳細を取得します。

kubectl describe pod <name of pod>

ジョブのステータスが「実行中」に変わったら、以下のコマンドを使用してログを確認できます。

kubectl logs <name of pod>

kubectl get pods を実行すると、STATUS は Completed になります。