기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon SageMaker HyperPod 추론 릴리스 정보

이 주제에서는 Amazon SageMaker HyperPod 추론의 업데이트, 수정 사항 및 새로운 기능을 추적하는 릴리스 정보를 다룹니다. SageMaker HyperPod 추론을 사용하면 엔터프라이즈급 안정성으로 HyperPod 클러스터에 기계 학습 모델을 배포하고 확장할 수 있습니다. 일반적인 Amazon SageMaker HyperPod 플랫폼 릴리스, 업데이트 및 개선 사항은 섹션을 참조하세요Amazon SageMaker HyperPod 릴리스 정보.

SageMaker HyperPod 추론 기능 및 배포 옵션에 대한 자세한 내용은 섹션을 참조하세요Amazon SageMaker HyperPod에 모델 배포.

SageMaker HyperPod 추론 릴리스 정보: v3.0

릴리스 날짜: 2026년 2월 23일

요약

추론 연산자 3.0에는 간소화된 수명 주기 관리를 위한 EKS 추가 기능 통합, 세분화된 일정 제어를 위한 노드 선호도 지원, 향상된 리소스 태그 지정이 도입되었습니다. 제공된 마이그레이션 스크립트를 사용하여 기존 Helm 기반 설치를 EKS 추가 기능으로 마이그레이션할 수 있습니다. 업그레이드하기 전에 새 태그 지정 권한으로 추론 연산자 실행 역할을 업데이트합니다.

주요 기능

사전 조건, 업그레이드 지침 및 마이그레이션 지침을 포함한 자세한 내용은 아래 섹션을 참조하세요.

사전 조건

Helm 버전을 3.0으로 업그레이드하기 전에 고객은 추론 연산자 실행 역할에 태그 지정 권한을 추가해야 합니다. 리소스 태그 지정 및 보안 개선의 일환으로 추론 연산자는 이제 ALB, S3 및 ACM 리소스에 태그를 지정합니다. 이 개선 사항에는 추론 연산자 실행 역할에 대한 추가 권한이 필요합니다. 추론 연산자 실행 역할에 다음 권한을 추가합니다.

{  
    "Sid": "CertificateTagginPermission",  
    "Effect": "Allow",  
    "Action": [  
        "acm:AddTagsToCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*",  
},  
{  
    "Sid": "S3PutObjectTaggingAccess",  
    "Effect": "Allow",  
    "Action": [  
        "s3:PutObjectTagging"  
    ],  
    "Resource": [  
        "arn:aws:s3:::<TLS_BUCKET>/*" # Replace * with your TLS bucket  
    ]  
}

v3.0으로 업그레이드

Helm을 통해 추론 연산자를 이미 설치한 경우 다음 명령을 사용하여 업그레이드합니다.

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.0
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Helm에서 EKS로 추가 기능 마이그레이션

3.0 버전 이전의 Helm을 통해 추론 연산자를 설치하는 경우 EKS 추가 기능으로 마이그레이션하여 추론 연산자에 대해 릴리스될 새 기능에 대한 업데이트를 적시에 받는 것이 좋습니다. 이 스크립트는 SageMaker HyperPod 추론 연산자를 Helm 기반 설치에서 EKS 추가 기능 설치로 마이그레이션합니다.

개요: 스크립트는 클러스터 이름과 리전을 파라미터로 사용하고, 기존 Helm 설치 구성을 검색하고, EKS 추가 기능 배포로 마이그레이션합니다. 추론 연산자, ALB 컨트롤러 및 KEDA 연산자에 대한 새 IAM 역할을 생성합니다.

추론 연산자를 마이그레이션하기 전에 스크립트는 필수 종속성(S3 CSI 드라이버, FSx CSI 드라이버, cert-manager 및 metrics-server)이 존재하는지 확인합니다. 존재하지 않는 경우 추가 기능으로 배포됩니다.

추론 연산자 추가 기능 마이그레이션이 완료되면 스크립트는 원래 추론 연산자 Helm 차트를 통해 설치된 경우 S3, FSx 및 기타 종속성(ALB, KEDA, cert-manager, metrics-server)도 마이그레이션합니다. --skip-dependencies-migration를 사용하여 S3 CSI 드라이버, FSx CSI 드라이버, cert-manager 및 metrics-server에 대해이 단계를 건너뜁니다. ALB 및 KEDA는 추론 연산자와 동일한 네임스페이스에 추가 기능의 일부로 설치되며 추론 연산자 추가 기능의 일부로 마이그레이션됩니다.

마이그레이션 사전 조건:

마이그레이션 스크립트 가져오기:

git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator/migration

사용량:

./helm_to_addon.sh [OPTIONS] \
  --cluster-name <cluster-name> (Required) \
  --region <region> (Required) \
  --helm-namespace kube-system (Optional) \
  --auto-approve (Optional) \
  --skip-dependencies-migration (Optional) \
  --s3-mountpoint-role-arn <s3-mountpoint-role-arn> (Optional) \
  --fsx-role-arn <fsx-role-arn> (Optional)

옵션:

예:

기본 마이그레이션(종속성 마이그레이션):

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1

프롬프트 없이 자동 승인:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --auto-approve

FSx, S3 탑재 지점, 인증서 관리자 및 지표 서버에 대한 종속성 마이그레이션 건너뛰기:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --skip-dependencies-migration

기존 S3 및 FSx IAM 역할을 제공합니다.

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --s3-mountpoint-role-arn arn:aws:iam::123456789012:role/s3-csi-role \
  --fsx-role-arn arn:aws:iam::123456789012:role/fsx-csi-role

백업 위치:

백업은에 저장됩니다. /tmp/hyperpod-migration-backup-<timestamp>/

백업을 통해 안전한 마이그레이션 및 복구가 가능합니다.

롤백:

마이그레이션에 실패하면 이전 상태를 복원하기 위해 롤백을 시작하기 전에 스크립트에 사용자 확인 메시지가 표시됩니다.

SageMaker HyperPod 추론 릴리스 정보: v2.3

새로운 기능

이 릴리스에서는 배포 구성 유연성을 높이기 위해 사용자 지정 리소스 정의(CRDs)에 새로운 선택적 필드를 도입합니다.

Features

버그 수정

이제 invocationEndpoint 사양의 필드에 대한 변경 사항이 적용됩니다InferenceEndpointConfig.

Helm 설치:

팔로우: https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm_chart

추론 연산자만 설치하는 데 집중하는 경우 1단계, 즉 후에 Set Up Your Helm Environment를 수행합니다cd HyperPodHelmChart/charts/inference-operator. 추론 연산자 차트 디렉터리 자체에 있으므로 명령에서가 표시되는 모든 곳에서를 . 로 바helm_chart/HyperPodHelmChart꿉니다.

이미 설치된 경우 연산자를 v2.3으로 업그레이드합니다.

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

helm upgrade hyperpod-inference-operator . \
  -n kube-system \
  -f current-values.yaml \
  --set image.tag=v2.3