Personalización de los modelos de Amazon Nova en SageMaker AI
nota
Esta documentación corresponde a la versión 1 de Amazon Nova. Amazon Nova 2 ya está disponible con nuevos modelos y funciones mejoradas. Para obtener información sobre cómo personalizar Amazon Nova 2, consulte Customizing Amazon Nova 2 models.
Puede personalizar los modelos de Amazon Nova, incluidos los modelos mejorados de Amazon Nova 2.0, mediante fórmulas y entrenarlos en SageMaker. Estas fórmulas admiten técnicas como el refinamiento supervisado (SFT), la optimización de preferencias directas (DPO) y el refinamiento por refuerzo (RFT) con opciones de adaptación de rango completo y de bajo rango (LoRA).
El flujo de trabajo de personalización integral incluye etapas como el entrenamiento del modelo, la evaluación del modelo y la implementación para inferencia. Este enfoque de personalización de modelos en SageMaker proporciona una mayor flexibilidad y control para refinar los modelos de Amazon Nova compatibles, optimizar los hiperparámetros con precisión e implementar técnicas como el refinamiento eficiente de parámetros (PEFT) de LoRA, el SFT de rango completo, la DPO, el RFT, el entrenamiento previo continuo (CPT), la optimización de políticas proximales (PPO), etc.
SageMaker ofrece dos entornos para personalizar los modelos de Amazon Nova.
-
Trabajos de entrenamiento de SageMaker proporciona un entorno completamente administrado para personalizar los modelos de Amazon Nova en el que no es necesario crear ni mantener ningún clúster. El servicio gestiona automáticamente el aprovisionamiento, el escalado y la administración de recursos de la infraestructura, lo que le permite centrarse únicamente en configurar los parámetros de entrenamiento y enviar su trabajo. Puede personalizar los modelos de Nova en los trabajos de entrenamiento de SageMaker con técnicas como el refinamiento eficiente de parámetros (PEFT), el refinamiento de rango completo, la optimización de preferencias directas (DPO) y el refinamiento por refuerzo (RFT). Para obtener más información, consulte Personalización de Amazon Nova en Trabajos de entrenamiento de SageMaker.
nota
Si proporciona una clave de KMS para cifrar el modelo resultante del trabajo de entrenamiento de personalización de Amazon Nova en el bucket de S3 administrado por Amazon:
-
Debe proporcionar la misma clave de KMS cuando lleve a cabo trabajos de entrenamiento iterativos posteriores o cuando llame a la API CreateCustomModel de Amazon Bedrock con el modelo cifrado.
-
La identidad que llama a la API
CreateTrainingJob(y no el rol de puesta en marcha) debe tener permisos paraCreateGrant,RetireGrant.EncryptyGenerateDataKey, tal como se define en la política de claves de KMS.
-
-
SageMaker HyperPod ofrece un entorno especializado para entrenar modelos de Amazon Nova, ya que requiere que cree y administre clústeres de EKS con grupos de instancias restringidos (RIG). Este entorno le ofrece flexibilidad para configurar su entorno de entrenamiento con instancias de GPU especializadas y almacenamiento Amazon FSx para Lustre integrado, lo que lo hace especialmente adecuado para escenarios de entrenamiento distribuido avanzado y para el desarrollo continuo de modelos. Para obtener más información, consulte Personalización de Amazon Nova en SageMaker HyperPod.
En este capítulo
