Amazon Nova レシピ - Amazon Nova

Amazon Nova レシピ

Amazon Nova レシピは、レシピリポジトリから取得できます。Amazon Nova レシピとは、モデルのカスタマイズジョブを実行する方法の詳細を SageMaker に提供する YAML 設定ファイルを指します。レシピでは、基本モデル名を提供し、トレーニングハイパーパラメータを設定し、最適化設定を定義し、モデルを正常にファインチューニングまたはトレーニングするために必要な追加オプションを含めます。

モデルハブに移動して AWS を選択し、Amazon Nova モデルを参照して関連するレシピを見つけることで、Amazon SageMaker Studio から Amazon Nova レシピにアクセスすることもできます。Amazon SageMaker Studio と Amazon SageMaker Unified Studio の両方で、レシピごとにサンプルノートブックが用意されています。これには、SageMaker トレーニングジョブまたは SageMaker HyperPod 環境を使用してレシピを変更し、カスタマイズジョブを実行するために必要なすべてのステップが含まれています。

Amazon SageMaker Studio のレシピページにアクセスするには、実行ロールに次のアクセス許可が必要です。

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::*model-customization-recipes*" ] } ] }

SageMaker トレーニングジョブと SageMaker HyperPod でサンプルノートブックを実行するには、次のいずれかの SageMaker ディストリビューションイメージバージョンを使用します: 2.7.1+2.8.0+3.2.1+3.3.0+。これは、Amazon SageMaker Studio と Amazon SageMaker Unified Studio の両方に適用されます。

Amazon Nova レシピの取得

Amazon Nova の基本レシピを取得するには、以下のコマンドを実行してレシピリポジトリのクローンを作成します。

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

基本レシピは recipes_collection/recipes/ で入手できます。

cd recipes_collection/recipes/

Amazon Nova のカスタマイズレシピは次のフォルダーにあります。

レシピタイプ Folder
SFT (フルランクと PEFT)、PPO、DPO (フルランクと PEFT) fine-tuning/nova
評価 evaluation/nova
CPT training/nova

Amazon Nova Forge レシピの取得

ジョブ専用の Amazon Nova Forge レシピにアクセスするには、Amazon Nova Forge へのアクセスを設定し、このワークショップに従って CLI の Forge バージョンをセットアップしてください。SageMaker トレーニングジョブの場合、AWS コンソールと Nova Customization SDK は Forge レシピに自動的にアクセスします。

使用可能なモデルとアルゴリズム

以下の表は、SageMaker を使用した Amazon Nova モデルとサポートされているアルゴリズムのカスタマイズの可否をまとめたものです。

モデル名

モデル ID

ファインチューニング

注意事項

Amazon Nova Lite 2.0

amazon.nova-2-lite-v1:0:256k

あり

  • SFT - 入力としてテキストと画像の両方またはいずれか、あるいはテキストと動画の両方またはいずれかを受け付け、出力としてテキストを生成します。1 つのジョブでテキスト、画像、動画を同じ実行内で組み合わせることはできません。

  • DPO - テキストと画像を入力として受け付け、出力としてテキストを生成します。

  • RFT - テキストとイメージをシングルターン会話の入力として受け入れ、テキストを出力として生成します。報酬最適化機能が改善されました。

Amazon Nova Lite

以下の表は、Amazon Nova Lite レシピリファレンスの詳細をまとめたものです。

モデル カテゴリ/サブカテゴリ 手法 レシピ名 イメージ URI (トレーニングジョブ) イメージ URI (SageMaker HyperPod) コンピューティングインスタンス
Nova Lite トレーニング/ファインチューニング 教師ありファインチューニング (LoRA)

nova_lite_1_0_g5_g6_12x_gpu_lora_sft.yaml

nova_lite_1_0_g5_g6_48x_gpu_lora_sft.yaml

nova_lite_1_0_p5_p4d_gpu_lora_sft.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest

ml.p5.48xlarge, ml.p5en.48xlarge,

ml.g5.12xlarge, ml.g6.12xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Lite トレーニング/ファインチューニング 教師ありファインチューニング (フル) nova_lite_1_0_p5_p4d_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Lite トレーニング/ファインチューニング 直接設定最適化 (フル) nova_lite_1_0_p5_p4d_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Lite トレーニング/ファインチューニング 直接設定最適化 (LoRA)

nova_lite_1_0_p5_p4d_gpu_lora_dpo.yaml

nova_lite_1_0_g5_g6_48x_gpu_lora_dpo.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest

ml.p5.48xlarge, ml.p5en.48xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Lite トレーニング/強化学習 強化ファインチューニング (RFT) nova_lite_1_0_p5_gpu_ppo.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Lite トレーニング/継続的な事前トレーニング 継続的な事前トレーニング (ベースモデル) nova_lite_gpu_p5x16_pretrain.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Lite 評価/評価する 標準テキストベンチマーク nova_lite_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite 評価/評価する カスタムデータセット評価 nova_lite_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite 評価/評価する マルチモーダルベンチマーク nova_lite_p5_48_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite 評価/評価する LLM-as-a-judge nova_lite_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge

Amazon Nova Micro

以下の表は、Amazon Nova Micro レシピリファレンスの詳細をまとめたものです。

モデル カテゴリ/サブカテゴリ 手法 レシピ名 イメージ URI (トレーニングジョブ) イメージ URI (SageMaker HyperPod) コンピューティングインスタンス
Nova Micro トレーニング/ファインチューニング 教師ありファインチューニング (LoRA)

nova_micro_1_0_p5_p4d_gpu_lora_sft.yaml

nova_micro_1_0_g5_g6_12x_gpu_lora_sft.yaml

nova_micro_1_0_g5_g6_48x_gpu_lora_sft.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest

ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge,

ml.g5.12xlarge, ml.g6.12xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Micro トレーニング/ファインチューニング 教師ありファインチューニング (フル)

nova_micro_1_0_p5_p4d_gpu_sft.yaml

nova_micro_1_0_g5_g6_48x_gpu_sft.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest

ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Micro トレーニング/ファインチューニング 直接設定最適化 (LoRA)

nova_micro_1_0_g5_g6_12x_gpu_lora_dpo.yaml

nova_micro_1_0_g5_g6_48x_gpu_lora_dpo.yaml

nova_micro_1_0_p5_p4d_gpu_lora_dpo.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest

ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge,

ml.g5.12xlarge, ml.g6.12xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Micro トレーニング/ファインチューニング 直接設定最適化 (フル) nova_micro_1_0_p5_p4d_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge
Nova Micro トレーニング/強化学習 強化ファインチューニング (RFT) nova_micro_1_0_p5_gpu_ppo.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Micro トレーニング/継続的な事前トレーニング 継続的な事前トレーニング (ベースモデル) nova_micro_gpu_p5x8_pretrain.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Micro 評価/評価する 一般的なテキストベンチマーク nova_micro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro 評価/評価する Bring your own dataset (gen_qa) ベンチマーク nova_micro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro 評価/評価する LLM-as-a-judge nova_micro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge

Amazon Nova Pro

以下の表は、Amazon Nova Pro レシピリファレンスの詳細をまとめたものです。

モデル カテゴリ/サブカテゴリ 手法 レシピ名 イメージ URI (トレーニングジョブ) イメージ URI (SageMaker HyperPod) コンピューティングインスタンス
Nova Pro トレーニング/ファインチューニング 教師ありファインチューニング (LoRA) nova_pro_1_0_p5_p4d_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge
Nova Pro トレーニング/ファインチューニング 教師ありファインチューニング (フル) nova_pro_1_0_p5_p4d_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Pro トレーニング/ファインチューニング 直接設定最適化 (フル) nova_pro_1_0_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Pro トレーニング/ファインチューニング 直接設定最適化 (LoRA) nova_pro_1_0_p5_p4d_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge
Nova Pro トレーニング/強化学習 強化ファインチューニング (RFT) nova_pro_1_0_p5_gpu_ppo.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Pro トレーニング/継続的な事前トレーニング 継続的な事前トレーニング (ベースモデル) nova_pro_gpu_p5x24_pretrain.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Pro トレーニング/データ補強 トレーニング後のためのモデル蒸留 nova_pro_r5_cpu_distill.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST ml.r5.24xlarge
Nova Pro 評価/評価する 標準テキストベンチマーク nova_pro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro 評価/評価する カスタムデータセット評価 nova_pro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro 評価/評価する マルチモーダルベンチマーク nova_pro_p5_48xl_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro 評価/評価する LLM-as-a-judge nova_pro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge