Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés. # Notas de la versión SageMaker HyperPod de Amazon Inference En este tema se tratan las notas de la versión que hacen un seguimiento de las actualizaciones, correcciones y nuevas funciones de Amazon SageMaker HyperPod Inference. SageMaker HyperPod La inferencia le permite implementar y escalar modelos de aprendizaje automático en sus HyperPod clústeres con una confiabilidad de nivel empresarial. Para ver las versiones, actualizaciones y mejoras generales de la SageMaker HyperPod plataforma Amazon, consulte[Notas de SageMaker HyperPod lanzamiento de Amazon](sagemaker-hyperpod-release-notes.md). Para obtener información sobre las capacidades de SageMaker HyperPod inferencia y las opciones de implementación, consulte[Implementación de modelos en Amazon SageMaker HyperPod](sagemaker-hyperpod-model-deployment.md). ## SageMaker HyperPod Notas de la versión de inferencia: v3.1.2 **Fecha de lanzamiento:** 6 de mayo de 2026 **Resumen** La versión 3.1.2 de Inference Operator presenta la captura de datos de inferencia para registrar el tráfico de los puntos finales, la integración de HuggingFace Hub para la implementación directa del modelo, la administración de DNS de Route 53 para dominios personalizados, la implementación del modelo NVMe local para reducir la latencia de arranque en frío y las cuentas de servicio personalizadas compatibles con IRSA. **Nuevas características** + **Captura de datos de inferencia**: registre las entradas y salidas en tres puntos de captura: punto final de SageMaker IA, balanceador de carga (registros de acceso a ALB) y módulo de modelos. Habilite cualquier combinación a través de su `dataCapture` CRD. Consulte [Captura de datos para hacer inferencias sobre HyperPod](sagemaker-hyperpod-model-deployment-data-capture.md). + **HuggingFace Fuente del modelo**: implemente modelos directamente desde HuggingFace Hub sin necesidad de preinstalarlos en S3 o FSx. Admite modelos bloqueados`tokenSecretRef`, anclaje de revisiones y aislamiento de tokens`commitSHA`. Compatible con los tiempos de ejecución de vLLM, TGI y sGLang. Consulte [Implemente modelos de Amazon S3, Amazon FSx o Hugging Face Hub mediante kubectl](sagemaker-hyperpod-model-deployment-deploy-ftm.md). + **Administración de DNS de Route 53**: cree y administre automáticamente registros de DNS para dominios personalizados a través de`dnsConfig`. Consulte [Certificados personalizados y administración de DNS de Route 53 para HyperPod inferencia](sagemaker-hyperpod-model-deployment-custom-certs.md). + **Despliegue del modelo NVMe local**: cargue los pesos de los modelos desde el almacenamiento NVMe local del nodo a través del almacenamiento NVMe `modelSourceType: kubernetesVolume` para reducir la latencia de arranque en frío. Soporta el retroceso a S3. Consulte [Implemente modelos desde el almacenamiento NVMe local mediante kubectl](sagemaker-hyperpod-model-deployment-deploy-nvme.md). + **Cuentas de servicio personalizadas: asigne cuentas** de servicio personalizadas ServiceAccounts con soporte IRSA a los módulos de inferencia mediante. `spec.kubernetes.serviceAccountName` **Correcciones de errores** + **Propagación** de User-defined etiquetas: las etiquetas activadas `InferenceEndpointConfig` ahora se propagan correctamente al `SageMakerEndpointRegistration` CRD y a los recursos de IA posteriores. SageMaker Anteriormente, las etiquetas no se transferían durante la creación o las actualizaciones del registro de los terminales. + **Preservación de réplicas con ajuste de escala automático**: se ha corregido un error que provocaba que, al actualizar un `InferenceEndpointConfig` `JumpStartModel` CR, se restableciera el recuento de réplicas al valor especificado y se anulaba el recuento de réplicas actual HPA/KEDA-managed . El operador ahora conserva el recuento de réplicas activas durante las actualizaciones de CR. + **Validación de CRD con ajuste de escala automático**: se corrigió la expresión regular de `prometheusTrigger.serverAddress` validación que obligaba incorrectamente a colocar un segmento de ruta final, lo que provocaba 404 errores cuando se `/api/v1/query` añadía KEDA a la URL del espacio de trabajo de AMP. + **Rotación de certificados: se ha corregido la rotación** de certificados personalizada que no se propagaba a ALB tras reiniciar el módulo de operador. ### Actualice a la versión 3.1.2 **Actualización del casco:** Si ya tiene el operador de inferencia instalado mediante Helm, utilice los siguientes comandos para actualizar: ``` helm get values -n kube-system hyperpod-inference-operator \ > current-values.yaml cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\ charts/inference-operator helm upgrade hyperpod-inference-operator . -n kube-system \ -f current-values.yaml --set image.tag=v3.1 # Verification kubectl get deployment hyperpod-inference-operator-controller-manager \ -n hyperpod-inference-system \ -o jsonpath='{.spec.template.spec.containers[0].image}' ``` ** Add-on Actualización de EKS:** Si instaló el operador de inferencia como un EKS Add-on, actualícelo a la última versión. En primer lugar, compruebe si ya `hyperpodClusterArn` está en la configuración del complemento: ``` CLUSTER=EKS_CLUSTER_NAME REGION=REGION aws eks describe-addon \ --cluster-name $CLUSTER \ --addon-name amazon-sagemaker-hyperpod-inference \ --region $REGION \ --query 'addon.configurationValues' --output text | jq . ``` Si `hyperpodClusterArn` aparece en el resultado, ejecuta el siguiente comando para realizar la actualización: ``` aws eks update-addon \ --cluster-name $CLUSTER \ --addon-name amazon-sagemaker-hyperpod-inference \ --addon-version v1.2.0-eksbuild.1 \ --resolve-conflicts OVERWRITE \ --region $REGION ``` Si no `hyperpodClusterArn` está presente, busque la configuración actual, agréguela y actualícela: ``` HP_ARN=HYPERPOD_CLUSTER_ARN CURRENT_CONFIG=$(aws eks describe-addon \ --cluster-name $CLUSTER \ --addon-name amazon-sagemaker-hyperpod-inference \ --region $REGION \ --query 'addon.configurationValues' --output text) # Add hyperpodClusterArn to the configuration NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" \ '. + {hyperpodClusterArn: $arn}') aws eks update-addon \ --cluster-name $CLUSTER \ --addon-name amazon-sagemaker-hyperpod-inference \ --addon-version v1.2.0-eksbuild.1 \ --configuration-values "$NEW_CONFIG" \ --resolve-conflicts OVERWRITE \ --region $REGION ``` Espere a que el complemento se active antes de implementar los modelos. ## SageMaker HyperPod Notas de la versión de Inference: v3.1 **Fecha de lanzamiento:** 3 de abril de 2026 **Resumen** La versión 3.1 de Inference Operator presenta la configuración personalizada de los pods de Kubernetes, la compatibilidad con certificados personalizados y los límites de solicitudes por pod. **Características principales** + **Configuración personalizada del pod de Kubernetes**: se agregó un nuevo `kubernetes` campo al `InferenceEndpointConfig` CRD que permite a los usuarios personalizar las configuraciones del pod de inferencia: + **Contenedores de inicio personalizados: ejecute contenedores** de inicio definidos por el usuario antes de que se inicie el servidor de inferencia (por ejemplo, para calentar la caché o configurar el GDS). Los contenedores de inicio se inyectan después del contenedor de captura previa del operador. + **Volúmenes personalizados**: añada volúmenes adicionales (`emptyDir`,, `hostPath``configMap`, etc.) a la especificación del módulo, a los que los contenedores de inicio puedan hacer referencia a ellos mediante. `volumeMounts` + **Nombre del programador personalizado**: especifique un programador de Kubernetes personalizado para la ubicación del pod. + **Certificados personalizados: utilice sus propios certificados** ACM para los puntos finales de inferencia en lugar de los certificados autofirmados generados por el operador, configurados mediante. `customCertificateConfig` Es compatible con los certificados ACM de confianza pública, los certificados de CA AWS privados y los certificados importados de entidades de certificación externas. El operador supervisa el estado de los certificados y admite la detección automática de renovaciones. + **Límites de solicitudes**: controle la gestión de las solicitudes por módulo mediante la nueva `RequestLimits` configuración`Worker`, que incluye los siguientes campos configurables: + `maxConcurrentRequests`— Número máximo de solicitudes simultáneas en vuelo por cápsula. + `maxQueueSize`— Las solicitudes se ponen en cola cuando se alcanza el límite de simultaneidad antes de ser rechazadas. + `overflowStatusCode`— Se devuelve el código de estado HTTP cuando se superan los límites (predeterminado: 429). Para obtener información detallada, incluidos los requisitos previos y las instrucciones de actualización, consulte las secciones siguientes. ### Requisitos previos Para utilizar la función de certificados personalizados, añada los siguientes permisos a su función de ejecución de operador de inferencia: ``` { "Sid": "ACMCertificateAccess", "Effect": "Allow", "Action": [ "acm:DescribeCertificate", "acm:GetCertificate" ], "Resource": "arn:aws:acm:*:*:certificate/*" } ``` ### Actualice a la versión 3.1 Si ya tiene el operador de inferencia instalado mediante Helm, utilice los siguientes comandos para realizar la actualización: ``` helm get values -n kube-system hyperpod-inference-operator \ > current-values.yaml cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\ charts/inference-operator helm upgrade hyperpod-inference-operator . -n kube-system \ -f current-values.yaml --set image.tag=v3.1 # Verification kubectl get deployment hyperpod-inference-operator-controller-manager \ -n hyperpod-inference-system \ -o jsonpath='{.spec.template.spec.containers[0].image}' ``` ## SageMaker HyperPod Notas de la versión de inferencia: v3.0 **Fecha de lanzamiento:** 23 de febrero de 2026 **Resumen** Inference Operator 3.0 presenta la Add-on integración con EKS para simplificar la gestión del ciclo de vida, la compatibilidad con Node Affinity para un control detallado de la programación y un etiquetado de recursos mejorado. Helm-based Las instalaciones existentes se pueden migrar al EKS Add-on mediante el script de migración proporcionado. Actualice su función de ejecución de operador de inferencia con nuevos permisos de etiquetado antes de realizar la actualización. **Características principales** + ** Add-on Integración con EKS**: gestión Enterprise-grade del ciclo de vida con una experiencia de instalación simplificada + **Node Affinity**: control de programación detallado para excluir instancias puntuales, preferir zonas de disponibilidad o segmentar nodos con etiquetas personalizadas Para obtener información detallada, incluidos los requisitos previos, las instrucciones de actualización y la guía de migración, consulte las secciones siguientes. ### Requisitos previos Antes de actualizar la versión Helm a la 3.0, los clientes deben añadir permisos de etiquetado adicionales a su función de operador de inferencias. Como parte de la mejora del etiquetado y la seguridad de los recursos, el operador de inferencia ahora etiqueta los recursos de ALB, S3 y ACM. Esta mejora requiere permisos adicionales en la función de ejecución del operador de inferencia. Añada los siguientes permisos a su función de ejecución de operador de inferencia: ``` { "Sid": "CertificateTagginPermission", "Effect": "Allow", "Action": [ "acm:AddTagsToCertificate" ], "Resource": "arn:aws:acm:*:*:certificate/*", }, { "Sid": "S3PutObjectTaggingAccess", "Effect": "Allow", "Action": [ "s3:PutObjectTagging" ], "Resource": [ "arn:aws:s3:::/*" # Replace * with your TLS bucket ] } ``` ### Actualice a la versión 3.0 Si ya tiene el operador de inferencia instalado mediante Helm, utilice los siguientes comandos para realizar la actualización: ``` helm get values -n kube-system hyperpod-inference-operator \ > current-values.yaml cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\ charts/inference-operator helm upgrade hyperpod-inference-operator . -n kube-system \ -f current-values.yaml --set image.tag=v3.0 # Verification kubectl get deployment hyperpod-inference-operator-controller-manager \ -n hyperpod-inference-system \ -o jsonpath='{.spec.template.spec.containers[0].image}' ``` ### Migración de Helm a EKS Add-on Si el operador de inferencia se instaló a través de Helm antes de la versión 3.0, recomendamos migrar a EKS Add-on para obtener actualizaciones oportunas de las nuevas funciones que se lanzarán para Inference Operator. Este script migra el operador de SageMaker HyperPod inferencia de una instalación a otra instalación de EKS Helm-based . Add-on **Descripción general:** el script toma como parámetros el nombre y la región del clúster, recupera la configuración de instalación de Helm existente y migra a la implementación de EKS. Add-on Crea nuevas funciones de IAM para el operador de inferencia, el controlador ALB y el operador KEDA. Antes de migrar el operador de inferencia, el script garantiza que existan las dependencias necesarias (controlador CSI de S3, controlador CSI de FSx, administrador de certificados y servidor de métricas). Si no existen, las despliega como. Add-on Una vez completada la Add-on migración del operador de inferencia, el script también migra S3, FSx y otras dependencias (ALB, KEDA, cert-manager, metrics-server) si se instalaron originalmente mediante el gráfico Helm del operador de inferencia. Úselo `--skip-dependencies-migration` para omitir este paso para el controlador CSI de S3, el controlador CSI de FSx, el administrador de certificados y el servidor de métricas. Tenga en cuenta que ALB y KEDA se instalan como parte del mismo espacio de nombres que el operador Add-on de inferencia y se migrarán como parte del operador de inferencia. Add-on **importante** Durante la migración, no implemente modelos nuevos, ya que no se implementarán hasta que se complete la migración. Una vez que el operador de inferencia Add-on esté en estado ACTIVO, se pueden implementar nuevos modelos. El tiempo de migración suele tardar entre 15 y 20 minutos y puede completarse en 30 minutos si actualmente solo se implementan unos pocos modelos. **Requisitos previos de migración:** + AWS CLI configurado con las credenciales adecuadas + kubectl configurado con acceso a su clúster de EKS + Helm instalado + Instalación existente en Helm del operador de inferencia de hiperpodos **nota** Los puntos finales que ya estén en funcionamiento no se interrumpirán durante el proceso de migración. Los puntos finales existentes seguirán atendiendo el tráfico sin interrupciones durante la migración. **Obtener el script de migración:** ``` git clone https://github.com/aws/sagemaker-hyperpod-cli.git cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\ charts/inference-operator/migration ``` **Uso**: ``` ./helm_to_addon.sh [OPTIONS] \ --cluster-name (Required) \ --region (Required) \ --helm-namespace kube-system (Optional) \ --auto-approve (Optional) \ --skip-dependencies-migration (Optional) \ --s3-mountpoint-role-arn (Optional) \ --fsx-role-arn (Optional) ``` **Opciones:** + `--cluster-name NAME`— Nombre del clúster de EKS (obligatorio) + `--region REGION`— AWS región (obligatorio) + `--helm-namespace NAMESPACE`— Espacio de nombres donde está instalado Helm Chart (predeterminado: kube-system) (opcional) + `--s3-mountpoint-role-arn ARN`— Rol de IAM ARN del controlador CSI Mountpoint de S3 (opcional) + `--fsx-role-arn ARN`— ARN de la función IAM del controlador FSx CSI (opcional) + `--auto-approve`— Omita las solicitudes de confirmación si este indicador está activado. `step-by-step`y `auto-approve` se excluyen mutuamente; si `--auto-approve` se proporciona, no especifique `--step-by-step` (opcional) + `--step-by-step`— Haga una pausa después de cada paso principal para revisarla. Esto no debe mencionarse si ya `--auto-approve` está agregado (opcional) + `--skip-dependencies-migration`— Omitir la migración de Helm-installed dependencias a Add-on. Para las dependencias, NO se instalaron mediante el diagrama Helm del operador de inferencia, o si desea administrarlas por separado. (opcional) **Ejemplos**: Migración básica (migra las dependencias): ``` ./helm_to_addon.sh \ --cluster-name my-cluster \ --region us-east-1 ``` Auto-approve sin indicaciones: ``` ./helm_to_addon.sh \ --cluster-name my-cluster \ --region us-east-1 \ --auto-approve ``` Omita la migración de dependencias para FSx, S3 mountpoint, cert manager y Metrics server: ``` ./helm_to_addon.sh \ --cluster-name my-cluster \ --region us-east-1 \ --skip-dependencies-migration ``` Proporcione las funciones de IAM existentes en S3 y FSx: ``` ./helm_to_addon.sh \ --cluster-name my-cluster \ --region us-east-1 \ --s3-mountpoint-role-arn arn:aws:iam::123456789012:role/s3-csi-role \ --fsx-role-arn arn:aws:iam::123456789012:role/fsx-csi-role ``` **Ubicación de Backup:** Las copias de seguridad se almacenan en `/tmp/hyperpod-migration-backup-/` Las copias de seguridad permiten una migración y una recuperación seguras: + **Reversión en caso de error**: si la migración falla, el script puede restaurar automáticamente el clúster a su estado anterior a la migración utilizando las configuraciones respaldadas + Registro **de auditoría**: proporciona un registro completo de lo que existía antes de la migración para la resolución de problemas y el cumplimiento + **Referencia de configuración**: permite comparar las configuraciones previas y posteriores a la migración + **Recuperación manual**: si es necesario, puede inspeccionar y restaurar manualmente recursos específicos del directorio de respaldo **Reversión:** Si la migración falla, el script solicita la confirmación del usuario antes de iniciar la reversión para restaurar el estado anterior. ## SageMaker HyperPod Notas de la versión de inferencia: v2.3 **Novedades** Esta versión introduce nuevos campos opcionales en las definiciones de recursos personalizadas (CRD) para mejorar la flexibilidad de la configuración de la implementación. **Características** + **Tipos de instancias múltiples** + **Fiabilidad de implementación mejorada**: admite configuraciones de varios tipos de instancia con conmutación por error automática a tipos de instancias alternativos cuando las opciones preferidas carecen de capacidad + **Programación inteligente de recursos**: utiliza la afinidad de nodos de Kubernetes para priorizar los tipos de instancias y, al mismo tiempo, garantiza la implementación incluso cuando los recursos preferidos no están disponibles + **Coste y rendimiento optimizados**: mantiene sus preferencias de tipo de instancia y evita los fallos relacionados con la capacidad durante las fluctuaciones del clúster **Correcciones de errores** Los cambios `invocationEndpoint` en el campo de la especificación `InferenceEndpointConfig` entrarán ahora en vigor: + Si el `invocationEndpoint` campo está parcheado o actualizado, los recursos dependientes, como el `Ingress` Load Balancer SageMaker y el Endpoint`SageMakerEndpointRegistration`, se actualizarán con la normalización. + El valor `invocationEndpoint` proporcionado se almacenará tal cual en la propia especificación. `InferenceEndpointConfig` Cuando este valor se utilice para crear un Load Balancer y, si está activado, un SageMaker Endpoint, se normalizará para tener una barra diagonal inicial. + `v1/chat/completions`se normalizará `/v1/chat/completions` para AWS Load Balancer y Endpoint. `Ingress` SageMaker En el caso de`SageMakerEndpointRegistration`, se mostrará en sus especificaciones como. `v1/chat/completions` + `///invoke`se normalizará `/invoke` para AWS Load Balancer y Endpoint. `Ingress` SageMaker En el caso de`SageMakerEndpointRegistration`, se mostrará en sus especificaciones como. `invoke` **Instalación de Helm:** Siga: [https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm\_chart](https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm_chart) Si está centrado en instalar únicamente el operador de inferencia, después del paso 1, es decir`Set Up Your Helm Environment`, hágalo`cd HyperPodHelmChart/charts/inference-operator`. Como se encuentra en el propio directorio del gráfico de operadores de inferencia, en los comandos, donde quiera que lo vea`helm_chart/HyperPodHelmChart`, reemplace con. `.` **Actualice Operator a la versión 2.3 en caso de que ya esté instalado:** ``` cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\ charts/inference-operator helm get values -n kube-system hyperpod-inference-operator \ > current-values.yaml helm upgrade hyperpod-inference-operator . \ -n kube-system \ -f current-values.yaml \ --set image.tag=v2.3 ```