翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 # チュートリアル - Amazon SageMaker HyperPod Checkpointless PEFT-LoRA Llama 3 70b HyperPod でチェックポイントレストレーニングレシピを実行するには、次の一連のステップが必要です。 ## 前提条件 環境のセットアップを開始する前に、以下を確認します。 + [ Amazon SageMaker HyperPod での Amazon EKS サポートの有効化 HyperPod](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-hyperpod-eks-prerequisites.html) + [ HyperPod トレーニングオペレーターを設定する (v1.2\$1)](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-eks-operator.html) + 共有ストレージの場所。クラスターノードからアクセスできる Amazon FSx ファイルシステムまたは NFS システムでかまいません。 + 以下の形式のいずれか。 + JSON + JSONGZ (圧縮 JSON) + ARROW + Llama 70B または GPT-OSS 120B でサポートされているチェックポイントレストレーニングレシピを[ソース](https://github.com/aws/sagemaker-hyperpod-recipes/tree/main/recipes_collection)から選択します。 + [ ハギングフェイスモデルの重みとシークレットを Nemo がサポートする形式にダウンロードします](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-eks-checkpointless-release-notes.html)。 [https://docs.nvidia.com/nemo-framework/user-guide/latest/nemo-2.0/features/hf-integration.html#importing-from-hugging-face](https://docs.nvidia.com/nemo-framework/user-guide/latest/nemo-2.0/features/hf-integration.html#importing-from-hugging-face) + 環境をセットアップする ## Kubernetes 環境のセットアップ Kubernetes 環境を設定するには、以下を実行します。 1. 仮想環境をセットアップします。Python が 3.10 以上、3.14 未満を使用していることを確認します。 ``` python3 -m venv ${PWD}/venv source venv/bin/activate ``` 1. [ kubectl と eksctl をセットアップする](https://docs.aws.amazon.com/eks/latest/userguide/install-kubectl.html) 1. [ Helm のインストール](https://helm.sh/docs/intro/install/) 1. Kubernetes クラスターに接続する ``` aws eks update-kubeconfig --region "${CLUSTER_REGION}" --name "${CLUSTER_NAME}" ``` 1. 以下のいずれかの方法で、依存関係をインストールします。 1. 方法 1: SageMaker HyperPod レシピ方法: ``` # install SageMaker HyperPod Recipes. git clone --recursive git@github.com:aws/sagemaker-hyperpod-recipes.git cd sagemaker-hyperpod-recipes pip3 install -r requirements.txt ``` 1. 方法 2: 事前定義されたジョブ yaml メソッドを使用した kubectl ``` # install SageMaker HyperPod checkpointless training. git clone git@github.com:aws/sagemaker-hyperpod-checkpointless-training.git cd sagemaker-hyperpod-checkpointless-training ``` NeMo スタイルのランチャーまたは kubectl を使用してチェックポイントレストレーニングレシピを起動できるようになりました。 ## 方法 1: recipes ランチャーを使用してトレーニングジョブを起動する または、SageMaker HyperPod レシピを使用してトレーニングジョブを送信することもできます。レシピを使用するには、k8s.yaml、config.yaml を更新し、起動スクリプトを実行します。 1. `launcher_scripts/llama/run_checkpointless_llama3_70b_lora.sh` の更新 Deep Learning コンテナ。チェックポイントレストレーニングコンテナの最新リリースを確認するには、[「チェックポイントレストレーニングリリースノート](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-eks-checkpointless-release-notes.html)」を参照してください。 ``` #!/bin/bash SAGEMAKER_TRAINING_LAUNCHER_DIR=${SAGEMAKER_TRAINING_LAUNCHER_DIR:-"$(pwd)"} TRAIN_DIR="${TRAIN_DIR}" VAL_DIR="${VAL_DIR}" EXP_DIR="${EXP_DIR}" LOG_DIR="${LOG_DIR}" CONTAINER_MOUNT="/data" CONTAINER="${CONTAINER}" MODEL_NAME_OR_PATH="${MODEL_NAME_OR_PATH}" HYDRA_FULL_ERROR=1 python3 "${SAGEMAKER_TRAINING_LAUNCHER_DIR}/main.py" \ recipes=fine-tuning/llama/checkpointless_llama3_70b_lora \ recipes.dataset.dataset_path="${TRAIN_DIR}" \ recipes.exp_manager.exp_dir="${EXP_DIR}" \ recipes.log_dir="${LOG_DIR}" \ recipes.resume.restore_config.path="${MODEL_NAME_OR_PATH}" \ base_results_dir="${SAGEMAKER_TRAINING_LAUNCHER_DIR}/results" \ git.use_default=false \ cluster=k8s \ cluster_type=k8s \ container="${CONTAINER}" \ +cluster.hostNetwork=true \ +cluster.persistent_volume_claims.0.claimName=fsx-claim \ +cluster.persistent_volume_claims.0.mountPath="${CONTAINER_MOUNT}" \ +recipes.dataset.val_dataset_path="${VAL_DIR}" \ ++recipes.callbacks.3.test_fault_config.fault_prob_between_lock=1 \ ``` 1. トレーニングジョブを起動する ``` bash launcher_scripts/llama/run_checkpointless_llama3_70b_lora.sh ``` 1. トレーニングジョブを送信したら、次のコマンドを使用して、送信が正常に完了したかどうかを確認できます。 ``` kubectl get pods NAME READY STATUS RESTARTS AGE llama-3-70b-worker-0 0/1 running 0 36s ``` 1. STATUS が PENDING または ContainerCreating の場合、次のコマンドを実行して詳細を取得します。 ``` kubectl describe pod ``` 1. ジョブのステータスが「実行中」に変わったら、以下のコマンドを使用してログを確認できます。 ``` kubectl logs ``` kubectl get pods を実行すると、STATUS は Completed になります。 ## 方法 2: 事前定義された yaml を使用して kubectl でトレーニングジョブを起動する もう 1 つのオプションは、事前定義されたジョブ yaml を使用して kubectl を介してトレーニングを起動することです。 1. `examples/llama3/launch/peft_llama3_70b_checkpointless_p5.yaml` の更新 + `image`: 深層学習コンテナ。チェックポイントレストレーニングコンテナの最新のリリースを確認するには、[「チェックポイントレストレーニングリリースノート](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-eks-checkpointless-release-notes.html)」を参照してください。 + `resume.restore_config.path=`: [前提条件](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-eks-checkpointless-recipes-finetune.html#sagemaker-eks-checkpointless-recipes-finetune-prereqs)ステップで Nemo 形式でダウンロードされた事前トレーニング済みモデルの重みへのパス。 + `dataset.dataset_path=`: 共有ストレージに保存されたデータセットへのパス 1. で kubectl を使用してジョブを送信する `peft_llama3_70b_checkpointless_p5.yaml` ``` kubectl apply -f examples/llama3/launch/peft_llama3_70b_checkpointless_p5.yaml ``` 1. トレーニングジョブを送信したら、次のコマンドを使用して、送信が正常に完了したかどうかを確認できます。 ``` kubectl get pods NAME READY STATUS RESTARTS AGE llama3-70b-lora-checkpointless-worker-0 0/1 running 0 36s ``` 1. STATUS が PENDING または ContainerCreating の場合、次のコマンドを実行して詳細を取得します。 ``` kubectl describe pod ``` 1. ジョブのステータスが「実行中」に変わったら、以下のコマンドを使用してログを確認できます。 ``` kubectl logs ``` kubectl get pods を実行すると、STATUS は Completed になります。