View a markdown version of this page

Requisitos previos para la destilación modelo - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Requisitos previos para la destilación modelo

Antes de comenzar, asegúrese de que entiende cómo funcionan los controles de acceso y seguridad de Destilación de modelos. También debe elegir un modelo de profesor y alumno para su trabajo de destilación.

Permisos

Antes de comenzar, asegúrese de que entiende cómo funcionan los controles de acceso y seguridad de Destilación de modelos. Debe tener un rol de servicio de IAM que pueda acceder al bucket de Amazon S3 donde desea almacenar sus datos de entrenamiento y validación de Destilación de modelos. Amazon Bedrock también tiene opciones para cifrar y proteger aún más sus trabajos y artefactos de destilación. Para obtener más información, consulte Personalización, acceso y seguridad de los modelos.

Para utilizar un perfil de inferencia interregional para un modelo de profesor en un trabajo de destilación, su rol de servicio debe tener permisos para invocar el perfil de inferencia en un perfil de inferencia Región de AWS, además del modelo de cada región del perfil de inferencia. Para ver una política de ejemplo, consulte (Opcional) Permisos para crear un trabajo de destilación con un perfil de inferencia entre regiones. Para obtener más información sobre la inferencia entre regiones, consulte Aumento del rendimiento con la inferencia entre regiones.

Selección de los modelos instructor y aprendiz para la destilación

Tipo de modelo Criterios de selección Consideraciones clave Requisitos
Modelo de profesor Elija un modelo instructor que sea mucho más grande e inteligente que el modelo aprendiz y con la precisión que desee lograr para su caso de uso. Para que la destilación sea más eficaz, elija un modelo que ya esté entrenado en tareas similares a las de su caso de uso. Para algunos modelos de profesores, puede elegir un perfil de Cross-Region inferencia. Debe tener permisos para invocar perfiles y modelos de inferencia en cada región. Consulte la documentación sobre inferencias entre regiones para ver ejemplos de políticas.
Modelo estudiantil Elija un modelo aprendiz que sea mucho más pequeño que el modelo instructor. El modelo de estudiante debe ser uno de los modelos de estudiantes emparejados con el modelo de profesor en la tabla de modelos compatibles. Debe ser compatible con el modelo de profesor seleccionado, como se muestra en la siguiente tabla.

En la siguiente sección se muestran los modelos y regiones compatibles con Destilación de modelos de Amazon Bedrock. Tras elegir los modelos instructor y aprendiz, debe preparar y optimizar los conjuntos de datos de entrenamiento para la destilación. Para obtener más información, consulte Preparación de los conjuntos de datos de entrenamiento para destilación.

Modelos y regiones compatibles con Destilación de modelos de Amazon Bedrock.

En la siguiente tabla se muestran los modelos y modelos de Regiones de AWS Amazon Bedrock Model Distillation compatibles con los modelos de profesores y alumnos. Si utiliza un perfil de inferencia entre regiones, solo se admiten los perfiles de inferencia del sistema para la destilación de modelos. Para obtener más información, consulte Aumento del rendimiento con la inferencia entre regiones.

Proveedor Instructor ID del instructor Compatibilidad con perfiles de inferencia Aprendiz ID del aprendiz Region
Amazon Nova Pro amazon.nova-pro-v1:0 Ambos

Nova Lite

Nova Micro

amazon.nova-lite-v1:0:300k

amazon.nova-micro-v1:0:128k

Este de EE. UU. (Norte de Virginia)
Nova Premier amazon.nova-premier-v1:0 Solo perfil de inferencia

Nova Lite

Nova Micro

Nova Pro

amazon.nova-lite-v1:0:300k

amazon.nova-micro-v1:0:128k

amazon.nova-pro-v1:0:300k

Este de EE. UU. (Norte de Virginia)
Anthropic Claude 3.7 Sonnet anthropic.claude-3-7-sonnet-20250219-v 1:0 Ambos

Claude 3.5 Haiku

anthropic.claude-3-5-haiku-20241022-v 1:0:200 k

Oeste de EE. UU. (Oregón)
Claude Sonnet 4 anthropic.claude-sonnet-4-20250514-v1:0 Ambos

Claude 3.5 Haiku

anthropic.claude-3-5-haiku-20241022-v 1:00:200 k

Oeste de EE. UU. (Oregón)
Meta Llama 3.1 405B meta.llama3-1-405b-instruct-v1:0 Bajo demanda

Llama 3.1 8B

Llama 3.1 70B

Llama 3.2 1B

Llama 3.3 70B

meta.llama3-1-8b-instruct-v1:0:128k

meta.llama3-1-70b-instruct-v1:0:128k

meta.llama3-2-1b-instruct-v1:0:128k

meta.llama3-3-70b-instruct-v1:0:128k

Oeste de EE. UU. (Oregón)
Llama 3.1 70B meta.llama3-1-70b-instruct-v1:0 Ambos

Llama 3.1 8B

Llama 3.2 1B

Llama 3.2 3B

meta.llama3-1-8b-instruct-v1:0:128k

meta.llama3-2-1b-instruct-v1:0:128k

meta.llama3-2-3b-instruct-v1:0:128k

Oeste de EE. UU. (Oregón)
Llama 3.3 70B meta.llama3-3-70b-instruct-v 1:0 Solo perfil de inferencia

Llama 3.1 8B

Llama 3.2 1B

Llama 3.2 3B

meta.llama3-1-8b-instruct-v1:0:128k

meta.llama3-2-1b-instruct-v1:0:128k

meta.llama3-2-3b-instruct-v1:0:128k

Oeste de EE. UU. (Oregón)
nota