強化ファインチューニングによる Amazon Nova モデルのファインチューニング

トレーニングデータセットの提供 – 強化ファインチューニングトレーニングデータセットとして、必要な形式 (JSONL など) でプロンプトをアップロードします。詳細については、「Amazon Nova モデルのデータを準備する」を参照してください。

Configure Reward Function (grader) – 正確性、構造、トーン、またはその他の目標に基づいてモデルレスポンスをスコアリングするグレーダーを定義します。報酬関数は、Lambda を使用して目標スコアを計算するために実行できます。モデルを審査員として (コンソールを介して) 選択し、設定した基準と原則に基づいてレスポンスをランク付けすることもできます (コンソールはこれらを自動的に Lambda 関数に変換します）。詳細については、「Amazon Nova モデルの報酬関数の設定」を参照してください。

強化ファインチューニングジョブを送信する – ベースモデル、データセット、報酬関数、ハイパーパラメータなどのその他のオプション設定を指定して、強化ファインチューニングジョブを起動します。詳細については、「Amazon Nova モデルのファインチューニングジョブの作成と管理」を参照してください。

トレーニングのモニタリング – 完了するまでジョブのステータス、報酬メトリクス、トレーニングの進行状況を追跡します。詳細については、「RFT トレーニングジョブをモニタリングする」を参照してください。

ファインチューニングモデルを使用する – ジョブが完了したら、オンデマンド推論のためにワンクリックで結果の RFT モデルをデプロイします。一貫したパフォーマンスを必要とするミッションクリティカルなワークロードには、プロビジョンドスループットを使用することもできます。「カスタムモデルの推論を設定する」を参照してください。プレイグラウンドでテストを使用して、レスポンスを評価し、ベースモデルと比較します。