Amazon Nova レシピ
Amazon Nova レシピは、レシピ
モデルハブに移動して AWS を選択し、Amazon Nova モデルを参照して関連するレシピを見つけることで、Amazon SageMaker Studio から Amazon Nova レシピにアクセスすることもできます。Amazon SageMaker Studio と Amazon SageMaker Unified Studio の両方で、レシピごとにサンプルノートブックが用意されています。これには、SageMaker トレーニングジョブまたは SageMaker HyperPod 環境を使用してレシピを変更し、カスタマイズジョブを実行するために必要なすべてのステップが含まれています。
Amazon SageMaker Studio のレシピページにアクセスするには、実行ロールに次のアクセス許可が必要です。
SageMaker トレーニングジョブと SageMaker HyperPod でサンプルノートブックを実行するには、次のいずれかの SageMaker ディストリビューションイメージバージョンを使用します: 2.7.1+、2.8.0+、3.2.1+、3.3.0+。これは、Amazon SageMaker Studio と Amazon SageMaker Unified Studio の両方に適用されます。
トピック
Amazon Nova レシピの取得
Amazon Nova の基本レシピを取得するには、以下のコマンドを実行してレシピ
git clone https://github.com/aws/sagemaker-hyperpod-recipes.git
基本レシピは recipes_collection/recipes/
cd recipes_collection/recipes/
Amazon Nova のカスタマイズレシピは次のフォルダーにあります。
| レシピタイプ | Folder |
|---|---|
| SFT (フルランクと PEFT)、PPO、DPO (フルランクと PEFT) | fine-tuning/nova |
| 評価 | evaluation/nova |
| CPT | training/nova |
Amazon Nova Forge レシピの取得
ジョブ専用の Amazon Nova Forge レシピにアクセスするには、Amazon Nova Forge へのアクセスを設定し、このワークショップ
使用可能なモデルとアルゴリズム
以下の表は、SageMaker を使用した Amazon Nova モデルとサポートされているアルゴリズムのカスタマイズの可否をまとめたものです。
モデル名 |
モデル ID |
ファインチューニング |
注意事項 |
|---|---|---|---|
Amazon Nova Lite 2.0 |
amazon.nova-2-lite-v1:0:256k |
あり |
|
Amazon Nova Lite
以下の表は、Amazon Nova Lite レシピリファレンスの詳細をまとめたものです。
| モデル | カテゴリ/サブカテゴリ | 手法 | レシピ名 | イメージ URI (トレーニングジョブ) | イメージ URI (SageMaker HyperPod) | コンピューティングインスタンス |
|---|---|---|---|---|---|---|
| Nova Lite | トレーニング/ファインチューニング | 教師ありファインチューニング (LoRA) |
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest |
|
| Nova Lite | トレーニング/ファインチューニング | 教師ありファインチューニング (フル) | nova_lite_1_0_p5_p4d_gpu_sft.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest |
ml.p5.48xlarge, ml.p5en.48xlarge |
| Nova Lite | トレーニング/ファインチューニング | 直接設定最適化 (フル) | nova_lite_1_0_p5_p4d_gpu_dpo.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest |
ml.p5.48xlarge, ml.p5en.48xlarge |
| Nova Lite | トレーニング/ファインチューニング | 直接設定最適化 (LoRA) |
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest |
|
| Nova Lite | トレーニング/強化学習 | 強化ファインチューニング (RFT) | nova_lite_1_0_p5_gpu_ppo.yaml |
該当なし | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest |
ml.p5.48xlarge, ml.p5en.48xlarge |
| Nova Lite | トレーニング/継続的な事前トレーニング | 継続的な事前トレーニング (ベースモデル) | nova_lite_gpu_p5x16_pretrain.yaml |
該当なし | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest |
ml.p5.48xlarge |
| Nova Lite | 評価/評価する | 標準テキストベンチマーク | nova_lite_p5_48xl_general_text_benchmark_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest |
ml.p5.48xlarge |
| Nova Lite | 評価/評価する | カスタムデータセット評価 | nova_lite_p5_48xl_bring_your_own_dataset_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest |
ml.p5.48xlarge |
| Nova Lite | 評価/評価する | マルチモーダルベンチマーク | nova_lite_p5_48_general_multi_modal_benchmark_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest |
ml.p5.48xlarge |
| Nova Lite | 評価/評価する | LLM-as-a-judge | nova_lite_p5_48xl_llm_judge_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest |
ml.p5.48xlarge |
Amazon Nova Micro
以下の表は、Amazon Nova Micro レシピリファレンスの詳細をまとめたものです。
| モデル | カテゴリ/サブカテゴリ | 手法 | レシピ名 | イメージ URI (トレーニングジョブ) | イメージ URI (SageMaker HyperPod) | コンピューティングインスタンス |
|---|---|---|---|---|---|---|
| Nova Micro | トレーニング/ファインチューニング | 教師ありファインチューニング (LoRA) |
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest |
|
| Nova Micro | トレーニング/ファインチューニング | 教師ありファインチューニング (フル) |
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest |
|
| Nova Micro | トレーニング/ファインチューニング | 直接設定最適化 (LoRA) |
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest |
|
| Nova Micro | トレーニング/ファインチューニング | 直接設定最適化 (フル) | nova_micro_1_0_p5_p4d_gpu_dpo.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest |
ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge |
| Nova Micro | トレーニング/強化学習 | 強化ファインチューニング (RFT) | nova_micro_1_0_p5_gpu_ppo.yaml |
該当なし | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest |
ml.p5.48xlarge, ml.p5en.48xlarge |
| Nova Micro | トレーニング/継続的な事前トレーニング | 継続的な事前トレーニング (ベースモデル) | nova_micro_gpu_p5x8_pretrain.yaml |
該当なし | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest |
ml.p5.48xlarge |
| Nova Micro | 評価/評価する | 一般的なテキストベンチマーク | nova_micro_p5_48xl_general_text_benchmark_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest |
ml.p5.48xlarge |
| Nova Micro | 評価/評価する | Bring your own dataset (gen_qa) ベンチマーク | nova_micro_p5_48xl_bring_your_own_dataset_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest |
ml.p5.48xlarge |
| Nova Micro | 評価/評価する | LLM-as-a-judge | nova_micro_p5_48xl_llm_judge_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest |
ml.p5.48xlarge |
Amazon Nova Pro
以下の表は、Amazon Nova Pro レシピリファレンスの詳細をまとめたものです。
| モデル | カテゴリ/サブカテゴリ | 手法 | レシピ名 | イメージ URI (トレーニングジョブ) | イメージ URI (SageMaker HyperPod) | コンピューティングインスタンス |
|---|---|---|---|---|---|---|
| Nova Pro | トレーニング/ファインチューニング | 教師ありファインチューニング (LoRA) | nova_pro_1_0_p5_p4d_gpu_lora_sft.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest |
ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge |
| Nova Pro | トレーニング/ファインチューニング | 教師ありファインチューニング (フル) | nova_pro_1_0_p5_p4d_gpu_sft.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest |
ml.p5.48xlarge, ml.p5en.48xlarge |
| Nova Pro | トレーニング/ファインチューニング | 直接設定最適化 (フル) | nova_pro_1_0_p5_gpu_dpo.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest |
ml.p5.48xlarge, ml.p5en.48xlarge |
| Nova Pro | トレーニング/ファインチューニング | 直接設定最適化 (LoRA) | nova_pro_1_0_p5_p4d_gpu_lora_dpo.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest |
ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge |
| Nova Pro | トレーニング/強化学習 | 強化ファインチューニング (RFT) | nova_pro_1_0_p5_gpu_ppo.yaml |
該当なし | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest |
ml.p5.48xlarge, ml.p5en.48xlarge |
| Nova Pro | トレーニング/継続的な事前トレーニング | 継続的な事前トレーニング (ベースモデル) | nova_pro_gpu_p5x24_pretrain.yaml |
該当なし | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest |
ml.p5.48xlarge |
| Nova Pro | トレーニング/データ補強 | トレーニング後のためのモデル蒸留 | nova_pro_r5_cpu_distill.yaml |
該当なし | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST |
ml.r5.24xlarge |
| Nova Pro | 評価/評価する | 標準テキストベンチマーク | nova_pro_p5_48xl_general_text_benchmark_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest |
ml.p5.48xlarge |
| Nova Pro | 評価/評価する | カスタムデータセット評価 | nova_pro_p5_48xl_bring_your_own_dataset_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest |
ml.p5.48xlarge |
| Nova Pro | 評価/評価する | マルチモーダルベンチマーク | nova_pro_p5_48xl_general_multi_modal_benchmark_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest |
ml.p5.48xlarge |
| Nova Pro | 評価/評価する | LLM-as-a-judge | nova_pro_p5_48xl_llm_judge_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest |
ml.p5.48xlarge |