Fórmulas de Amazon Nova - Amazon Nova

Fórmulas de Amazon Nova

Puede obtener una fórmula de Amazon Nova en el repositorio de fórmulas. Una fórmula de Amazon Nova es un archivo de configuración YAML que proporciona detalles a SageMaker sobre cómo poner en marcha el trabajo de personalización de modelos. Proporciona el nombre del modelo base, establece los hiperparámetros de entrenamiento, define la configuración de optimización e incluye todas las opciones adicionales necesarias para refinar o entrenar el modelo correctamente.

También puede acceder a las fórmulas de Amazon Nova a través de Amazon SageMaker Studio y desde el centro de modelos. Para ello, seleccione AWS y consulte los modelos de Amazon Nova para ver las fórmulas asociadas. Tanto Amazon SageMaker Studio como Estudio unificado de Amazon SageMaker proporcionan cuadernos de muestra para cada fórmula, que incluyen todos los pasos necesarios para modificar las fórmulas y poner en marcha trabajos de personalización mediante trabajos de entrenamiento de SageMaker o entornos de SageMaker HyperPod.

Para acceder a las páginas de fórmulas de Amazon SageMaker Studio, el rol de ejecución debe tener los siguientes permisos.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::*model-customization-recipes*" ] } ] }

Para poner en marcha los cuadernos de muestra en los trabajos de entrenamiento de SageMaker y en SageMaker HyperPod, utilice una de las siguientes versiones de imágenes de distribución de SageMaker: 2.7.1+, 2.8.0+, 3.2.1+, 3.3.0+. Esto se aplica a Amazon SageMaker Studio y a Estudio unificado de Amazon SageMaker.

Obtención de fórmulas de Amazon Nova

Para obtener una fórmula básica de Amazon Nova, clone el repositorio de fórmulas con el siguiente comando:

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

Las fórmulas básicas están disponibles en recipes_collection/recipes/.

cd recipes_collection/recipes/

Las fórmulas de personalización de Amazon Nova se encuentran en las siguientes carpetas.

Tipo de fórmula Folder
SFT (rango completo y PEFT), PPO, DPO (rango completo y PEFT) fine-tuning/nova
Evaluación evaluation/nova
CPT training/nova

Obtención de fórmulas de Amazon Nova Forge

Para acceder a fórmulas de trabajo especializadas de Amazon Nova Forge, configure su acceso a Amazon Nova Forge y, a continuación, siga este taller para configurar la versión de Forge de la CLI. En el caso de Trabajos de entrenamiento de SageMaker, la consola de AWS y el SDK de personalización de Nova accederán automáticamente a las fórmulas de Forge.

Modelos y algoritmos disponibles

En la siguiente tabla se resume la disponibilidad de personalización para los modelos de Amazon Nova y los algoritmos compatibles con SageMaker.

Nombre de modelo

ID del modelo

Microajuste

Notas

Amazon Nova Lite 2.0

amazon.nova-2-lite-v1:0:256k

  • SFT: acepta texto o imagen, o texto o vídeo como entrada y produce texto como salida. Un único trabajo no puede combinar texto, imagen y vídeo en la misma ejecución.

  • DPO: acepta texto e imagen como entrada y produce texto como salida.

  • RFT: acepta texto e imagen como entrada para conversaciones de un solo turno y produce texto como salida. Capacidades mejoradas de optimización de recompensas.

Amazon Nova Lite

En la siguiente tabla se muestra información detallada de la referencia de fórmulas de Amazon Nova Lite.

Modelo Categoría/subcategoría Técnica Nombre de la fórmula URI de la imagen (trabajos de entrenamiento) URI de imagen (SageMaker HyperPod) Instancia de computación
Nova Lite Entrenamiento/refinamiento Refinamiento supervisado (LoRA)

nova_lite_1_0_g5_g6_12x_gpu_lora_sft.yaml

nova_lite_1_0_g5_g6_48x_gpu_lora_sft.yaml

nova_lite_1_0_p5_p4d_gpu_lora_sft.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest

ml.p5.48xlarge, ml.p5en.48xlarge,

ml.g5.12xlarge, ml.g6.12xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Lite Entrenamiento/refinamiento Refinamiento supervisado (completo) nova_lite_1_0_p5_p4d_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Lite Entrenamiento/refinamiento Optimización de preferencias directas (completa) nova_lite_1_0_p5_p4d_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Lite Entrenamiento/refinamiento Optimización de preferencias directas (LoRA)

nova_lite_1_0_p5_p4d_gpu_lora_dpo.yaml

nova_lite_1_0_g5_g6_48x_gpu_lora_dpo.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest

ml.p5.48xlarge, ml.p5en.48xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Lite Entrenamiento/aprendizaje por refuerzo Refinamiento por refuerzo (RFT) nova_lite_1_0_p5_gpu_ppo.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Lite Entrenamiento/entrenamiento previo continuo Entrenamiento previo continuo (modelo básico) nova_lite_gpu_p5x16_pretrain.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Lite Evaluación/evaluar Referencias de texto estándar nova_lite_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Evaluación/evaluar Evaluación de conjuntos de datos personalizados nova_lite_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Evaluación/evaluar Puntos de referencia multimodales nova_lite_p5_48_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Evaluación/evaluar LLM como juez nova_lite_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge

Amazon Nova Micro

En la siguiente tabla se muestra información detallada de la referencia de fórmulas de Amazon Nova Micro.

Modelo Categoría/subcategoría Técnica Nombre de la fórmula URI de la imagen (trabajos de entrenamiento) URI de imagen (SageMaker HyperPod) Instancia de computación
Nova Micro Entrenamiento/refinamiento Refinamiento supervisado (LoRA)

nova_micro_1_0_p5_p4d_gpu_lora_sft.yaml

nova_micro_1_0_g5_g6_12x_gpu_lora_sft.yaml

nova_micro_1_0_g5_g6_48x_gpu_lora_sft.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest

ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge,

ml.g5.12xlarge, ml.g6.12xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Micro Entrenamiento/refinamiento Refinamiento supervisado (completo)

nova_micro_1_0_p5_p4d_gpu_sft.yaml

nova_micro_1_0_g5_g6_48x_gpu_sft.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest

ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Micro Entrenamiento/refinamiento Optimización de preferencias directas (LoRA)

nova_micro_1_0_g5_g6_12x_gpu_lora_dpo.yaml

nova_micro_1_0_g5_g6_48x_gpu_lora_dpo.yaml

nova_micro_1_0_p5_p4d_gpu_lora_dpo.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest

ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge,

ml.g5.12xlarge, ml.g6.12xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Micro Entrenamiento/refinamiento Optimización de preferencias directas (completa) nova_micro_1_0_p5_p4d_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge
Nova Micro Entrenamiento/aprendizaje por refuerzo Refinamiento por refuerzo (RFT) nova_micro_1_0_p5_gpu_ppo.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Micro Entrenamiento/entrenamiento previo continuo Entrenamiento previo continuo (modelo básico) nova_micro_gpu_p5x8_pretrain.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Micro Evaluación/evaluar Referencia de texto general nova_micro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Evaluación/evaluar Referencia de uso de conjunto de datos propio (gen_qa) nova_micro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Evaluación/evaluar LLM como juez nova_micro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge

Amazon Nova Pro

En la siguiente tabla se muestra información detallada de la referencia de fórmulas de Amazon Nova Pro.

Modelo Categoría/subcategoría Técnica Nombre de la fórmula URI de la imagen (trabajos de entrenamiento) URI de imagen (SageMaker HyperPod) Instancia de computación
Nova Pro Entrenamiento/refinamiento Refinamiento supervisado (LoRA) nova_pro_1_0_p5_p4d_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge
Nova Pro Entrenamiento/refinamiento Refinamiento supervisado (completo) nova_pro_1_0_p5_p4d_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Pro Entrenamiento/refinamiento Optimización de preferencias directas (completa) nova_pro_1_0_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Pro Entrenamiento/refinamiento Optimización de preferencias directas (LoRA) nova_pro_1_0_p5_p4d_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge
Nova Pro Entrenamiento/aprendizaje por refuerzo Refinamiento por refuerzo (RFT) nova_pro_1_0_p5_gpu_ppo.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Pro Entrenamiento/entrenamiento previo continuo Entrenamiento previo continuo (modelo básico) nova_pro_gpu_p5x24_pretrain.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Pro Entrenamiento/aumento de datos Destilación de modelos para entrenamiento posterior nova_pro_r5_cpu_distill.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST ml.r5.24xlarge
Nova Pro Evaluación/evaluar Referencias de texto estándar nova_pro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Evaluación/evaluar Evaluación de conjuntos de datos personalizados nova_pro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Evaluación/evaluar Puntos de referencia multimodales nova_pro_p5_48xl_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Evaluación/evaluar LLM como juez nova_pro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge