Características del contenedor de inferencia

El contenedor de inferencia Amazon Nova SageMaker incluye un conjunto de características que puede habilitar para personalizar el comportamiento del modelo durante la inferencia. Cada característica se incorpora en una versión específica del contenedor y puede requerir variables de entorno, parámetros de solicitud o ambos para activarse.

Esta página enumera las características disponibles en el contenedor de inferencia, describe cómo habilitar cada una e identifica la versión del contenedor en la que se incorporó cada característica. Use esta referencia para determinar qué características están disponibles para la implementación y cómo configurarlas.

Las características que se habilitan mediante variables de entorno se configuran al crear el modelo de SageMaker o la configuración del punto de conexión. Inclúyalas en el parámetro Environment de la llamada a la API CreateModel. Las características que se habilitan mediante parámetros de solicitud se configuran para cada invocación en el cuerpo de la solicitud.

Resumen de características

La siguiente tabla proporciona una referencia rápida de todas las características compatibles con el contenedor de inferencia Amazon Nova SageMaker.

Temperatura predeterminada

Establece la temperatura de muestreo predeterminada para todas las solicitudes de inferencia enviadas al punto de conexión. La temperatura controla qué tan aleatorios o predecibles son los resultados del modelo. Un valor de 0 hace que el modelo siempre elija la siguiente palabra más probable, lo que produce resultados coherentes y reproducibles. Los valores más altos (hasta 2) hacen que el modelo tenga mayor disposición a elegir palabras menos probables, lo que produce respuestas más creativas y variadas.

Cuándo usarla: reduzca la temperatura (por ejemplo, de 0.1 a 0.3) para tareas que requieren respuestas fácticas y coherentes, como clasificación o extracción de datos. Auméntela (por ejemplo, de 0.7 a 1.0) para tareas creativas, como redacción de historias o lluvia de ideas. La temperatura funciona junto con top-p y top-k; los tres controlan cómo el modelo selecciona tokens. Puede combinar estos parámetros para refinar el comportamiento de los resultados.

Variable de entorno

"Environment": {
    "DEFAULT_TEMPERATURE": "0.7"
}

Valor predeterminado de top-p

Establece el valor predeterminado de top-p para todas las solicitudes de inferencia. Top-p controla la diversidad de la salida al limitar las opciones del modelo a un subconjunto de las palabras más probables. En concreto, el modelo ordena todas las posibles palabras siguientes según su probabilidad y solo considera el grupo más pequeño cuya probabilidad combinada alcanza el valor de top-p. Por ejemplo, un valor de top-p de 0.9 significa que el modelo solo tiene en cuenta las palabras que, en conjunto, representan el 90 % de la probabilidad, sin tener en cuenta el resto de opciones poco probables.

Cuándo usarlo: use un valor de top-p más bajo (por ejemplo, 0.5) para hacer que el modelo se limite a palabras de alta confianza y produzca una salida más enfocada. Use un valor más alto (por ejemplo, 0.95) para permitir mayor variedad. Top-p se utiliza con frecuencia como alternativa a la temperatura: ambos regulan la variedad del resultado, pero top-p se adapta dinámicamente en función del nivel de confianza del modelo en cada paso. Puede usar ambos juntos; en ese caso, el modelo aplica la restricción que sea más restrictiva en cada paso.

Variable de entorno

"Environment": {
    "DEFAULT_TOP_P": "0.9"
}

Valor predeterminado de top-k

Establece el valor predeterminado de top-k para todas las solicitudes de inferencia. Top-k limita las opciones del modelo a un número fijo de las palabras siguientes más probables. Por ejemplo, un valor de top-k de 50 significa que el modelo solo considera las 50 palabras más probables en cada paso, independientemente de sus probabilidades individuales. Un valor de -1 desactiva este límite y permite que el modelo considere todas las palabras posibles.

Cuándo usarlo: use top-k cuando desee establecer un límite estricto en la cantidad de opciones de palabras que el modelo considera. Los valores más bajos (por ejemplo, 10) producen resultados más predecibles, mientras que los valores más altos permiten una mayor variedad. Top-k se puede combinar con la temperatura y top-p; cuando hay varios controles de muestreo activos, el modelo aplica todos estos y utiliza el que sea más restrictivo en cada paso.

Variable de entorno

"Environment": {
    "DEFAULT_TOP_K": "50"
}

Máximo predeterminado de tokens nuevos

Establece la cantidad máxima predeterminada de tokens (palabras o fragmentos de palabras) que el modelo genera en una respuesta. Este valor se aplica a todas las solicitudes, a menos que se reemplace. Úselo para controlar la longitud de las respuestas y administrar los costos en el punto de conexión.

Cuándo usarlo: establezca este valor cuando desee imponer una longitud máxima coherente para las respuestas en todas las solicitudes. Por ejemplo, configúrelo en 256 para tareas de respuestas cortas o en 2048 para la generación de contenido más extenso. El valor máximo permitido depende de la CONTEXT_LENGTH configurada para el punto de conexión, ya que la suma de los tokens de entrada y salida no puede superar la longitud de contexto.

Variable de entorno

"Environment": {
    "DEFAULT_MAX_NEW_TOKENS": "512"
}

Logprobs predeterminado

Establece la cantidad predeterminada de probabilidades logarítmicas que se devolverán para cada token generado. Una probabilidad logarítmica es un valor numérico que refleja el nivel de confianza que tiene el modelo al elegir cada palabra. Cuando esta opción está habilitada, la respuesta incluye estas puntuaciones para cada token de resultado, lo cual es útil para evaluar la confianza del modelo, comparar alternativas de palabras y depurar el comportamiento de generación.

Cuándo usarlo: habilite logprobs cuando necesite evaluar el nivel de confianza que tiene el modelo en sus resultados; por ejemplo, para identificar respuestas con baja confianza para revisión humana o para comparar la probabilidad de distintas finalizaciones. Habilitar logprobs puede aumentar ligeramente la latencia de la respuesta y el tamaño de la carga útil.

Variable de entorno

"Environment": {
    "DEFAULT_LOGPROBS": "5"
}

Decodificación especulativa Eagle3

La decodificación especulativa Eagle3 es una técnica de optimización que acelera la generación de texto. Funciona mediante el uso de un modelo preliminar más pequeño y rápido para predecir varios tokens por adelantado y luego verificar esas predicciones con el modelo principal en un solo paso. Cuando las predicciones son correctas, el modelo genera efectivamente varios tokens en el tiempo que normalmente tardaría en generar uno solo. El modelo principal siempre verifica los tokens preliminares, por lo que el resultado final es idéntico al que produciría el modelo principal por sí solo; solo cambia la velocidad, no la calidad.

Cuándo usarlo: la decodificación especulativa Eagle3 está habilitada de forma predeterminada y beneficia a la mayoría de las cargas de trabajo. Considere desactivarla solo si observa un comportamiento inesperado o necesita aislar características de rendimiento durante la depuración.

Variable de entorno

El siguiente ejemplo desactiva la decodificación especulativa Eagle3:

"Environment": {
    "DISABLE_SPECULATIVE_DECODING": "true"
}

Tipo de datos de la caché KV

Establece el tipo de datos de la caché clave-valor (KV) utilizada durante la inferencia. La caché KV almacena la memoria del modelo de los tokens anteriores de una conversación, lo que le permite generar cada token nuevo sin reprocesar toda la entrada. En secuencias largas, esta caché puede consumir una cantidad significativa de memoria de GPU. Usar un tipo de datos de menor precisión para la caché KV, como FP8, reduce el uso de memoria y puede mejorar el rendimiento, aunque a costa de pequeñas diferencias numéricas en el resultado.

Cuándo usarlo: habilite la caché KV FP8 cuando necesite admitir longitudes de contexto más extensas o una mayor simultaneidad en la instancia. Esto resulta especialmente útil en instancias de GPU con memoria limitada. Pruebe su caso de uso para verificar que la calidad del resultado cumpla con los requisitos, ya que una menor precisión puede producir resultados ligeramente distintos.

Variable de entorno

"Environment": {
    "KV_CACHE_DTYPE": "fp8"
}

Cuantización

Establece el tipo de datos de cuantización para las ponderaciones del modelo. La cuantización comprime las ponderaciones del modelo en un formato de menor precisión (FP8 en lugar de la precisión superior predeterminada), lo que reduce la cantidad de memoria de GPU que requiere el modelo. Esto puede mejorar el rendimiento de la inferencia y permitir que modelos más grandes se ejecuten en tipos de instancia más pequeños, con un impacto mínimo en la calidad del resultado.

Cuándo usarlo: use la cuantización FP8 cuando desee reducir el uso de memoria para admitir una mayor simultaneidad o permitir que un modelo se ejecute en un tipo de instancia más pequeño. Tenga en cuenta que algunas combinaciones de modelos y tipos de instancia requieren cuantización FP8 de forma automática; consulte la advertencia que aparece a continuación.

Variable de entorno

"Environment": {
    "QUANTIZATION_DTYPE": "fp8"
}

Cantidad de tokens especulativos

Controla cuántos tokens el modelo preliminar predice por adelantado durante cada paso de la decodificación especulativa Eagle3. Un valor más alto significa que el modelo preliminar intenta predecir más tokens a la vez, lo que puede mejorar el rendimiento cuando las predicciones son precisas. Si las predicciones del modelo preliminar suelen diferir de las del modelo principal, un valor más bajo puede resultar más eficiente.

Cuándo usarlo: aumente este valor cuando la carga de trabajo produzca patrones de resultados predecibles (por ejemplo, datos estructurados o texto basado en plantillas), en los que sea probable que el modelo preliminar acierte. Redúzcalo en resultados creativos o muy variables, donde las predicciones son menos confiables.

Variable de entorno

"Environment": {
    "NUM_SPECULATIVE_TOKENS": "5"
}

Decodificación por sufijos

La decodificación por sufijos es un método alternativo para acelerar la generación de texto. En lugar de utilizar un modelo preliminar independiente (como hace Eagle3), la decodificación por sufijos busca patrones repetidos en el texto ya generado o en la petición de entrada y reutiliza esos patrones para predecir tokens futuros. Este enfoque funciona bien cuando es probable que el resultado contenga frases repetidas, formatos estructurados o contenido que refleje estrechamente la entrada.

Cuándo usarlo: use la decodificación por sufijos para tareas en las que el resultado contenga patrones repetitivos, como la generación de datos estructurados, el llenado de plantillas o el resumen de contenido que reutiliza frases del origen. Para la generación de uso general, donde el resultado es muy variable, el método Eagle3 predeterminado suele ofrecer un mejor rendimiento.

Variable de entorno

"Environment": {
    "SPECULATIVE_DECODING_METHOD": "suffix"
}