기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

HyperPod 추론을 위한 사용자 지정 인증서 및 Route 53 DNS 관리

다음 단계에서는 HyperPod 추론 엔드포인트에 자체 ACM 인증서를 사용하고 선택적으로 사용자 지정 도메인의 Route 53 DNS 레코드를 관리하도록 연산자를 구성하는 방법을 보여줍니다.

사용자 지정 인증서를 사용하면 ACM 인증서 ARN을 제공하면 연산자가 이를 Application Load Balancer(ALB)에 연결하고 상태를 모니터링하며 자동 갱신 감지를 지원합니다. 연산자는 공개적으로 신뢰할 수 있는 ACM 인증서, AWS 프라이빗 CA 인증서 및 외부 CAs에서 가져온 인증서를 지원합니다.

사용자 지정 인증서는 자체적으로 사용하거나 Route 53 DNS 관리와 결합할 수 있습니다. Route 53 DNS 관리에는 사용자 지정 인증서가 필요하며 인증서 구성의 도메인 이름을 사용하여 DNS 레코드를 생성하고 관리합니다.

사전 조건

시작하기 전에 다음을 수행했는지 확인합니다.

IAM 권한 구성

추론 운영자의 실행 역할에는 사용자 지정 인증서 및 Route 53 DNS 관리에 대한 추가 권한이 필요합니다. HyperPod 추론 실행 역할에 다음 정책을 추가합니다.

사용자 지정 인증서에 대한 ACM 및 Amazon S3 권한

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ACMCustomCertificateAccess",
            "Effect": "Allow",
            "Action": [
                "acm:DescribeCertificate",
                "acm:GetCertificate"
            ],
            "Resource": "arn:aws:acm:<region>:<account-id>:certificate/*"
        },
        {
            "Sid": "S3CertificateUpload",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:PutObjectTagging"
            ],
            "Resource": "arn:aws:s3:::<tls-certificate-bucket>/*",
            "Condition": {
                "StringEquals": {
                    "s3:RequestObjectTag/CreatedBy": "HyperPodInference"
                }
            }
        }
    ]
}

DNS 관리를 위한 Route 53 권한

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Route53DNSManagement",
            "Effect": "Allow",
            "Action": [
                "route53:GetHostedZone",
                "route53:ListResourceRecordSets",
                "route53:ChangeResourceRecordSets"
            ],
            "Resource": "arn:aws:route53:::hostedzone/<hosted-zone-id>"
        }
    ]
}

<region>, <tls-certificate-bucket>, 및 <account-id><hosted-zone-id>를 실제 값으로 바꿉니다. 보안 강화를 위해 ACM 리소스 ARN의 범위를 특정 인증서로 지정할 수 있습니다.

사용자 지정 인증서 구성

사용자 지정 인증서를 사용하려면 InferenceEndpointConfig 또는 사양의 JumpStartModel tlsConfig에 customCertificateConfig 섹션을 추가합니다. tlsConfig 및 dnsConfig 필드는 두 CRDs에서 동일합니다.

및 customCertificateConfig에서 사용할 수 있는 필드는 tlsConfig다음과 같습니다.

다음은 사용자 지정 인증서로 엔드포인트를 생성하기 위한 YAML 파일의 예입니다.

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: my-model
  namespace: my-namespace
spec:
  modelName: my-llm
  instanceType: ml.g5.24xlarge
  invocationEndpoint: v1/chat/completions
  replicas: 2
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: my-model-bucket
      region: us-west-2
    modelLocation: models/my-llm
  tlsConfig:
    customCertificateConfig:
      acmArn: arn:aws:acm:us-west-2:123456789012:certificate/abc12345-1234-1234-1234-abc123456789
      domainName: api.example.com
    tlsCertificateOutputS3Uri: s3://my-tls-bucket
  worker:
    image: my-inference-image:latest
    modelInvocationPort:
      containerPort: 8000
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    resources:
      limits:
        nvidia.com/gpu: "4"
      requests:
        cpu: "6"
        memory: 30Gi
        nvidia.com/gpu: "4"

이미 실행 중인 배포customCertificateConfig에를 추가할 수 있습니다. 운영자는 다음 조정 시 변경 사항을 감지하고, 인증서를 검증하고, ALB에 연결하고, 퍼블릭 인증서를 Amazon S3에 업로드합니다. 가동 중지 시간이나 재배포는 필요하지 않습니다.

Route 53 DNS 관리 구성

Route 53 DNS 관리를 사용하려면 사용자 지정 인증서를 구성하고의 도메인 이름을 사용해야 합니다tlsConfig.customCertificateConfig.domainName. 사용자 지정 인증서를 구성하지 않은 경우 사용자 지정 인증서 구성 먼저 섹션을 참조하세요.

Route 53 DNS 관리를 활성화하려면 사양에 dnsConfig 섹션을 추가합니다.

spec:
  tlsConfig:
    customCertificateConfig:
      acmArn: arn:aws:acm:us-west-2:123456789012:certificate/abc12345-1234-1234-1234-abc123456789
      domainName: api.example.com
    tlsCertificateOutputS3Uri: s3://my-tls-bucket
  dnsConfig:
    hostedZoneId: Z1234567890ABC

dnsConfig 섹션은와 동시에 추가customCertificateConfig하거나 나중에 기존 배포에 추가할 수 있습니다. 연산자는 포드를 다시 시작하지 않고 다음 조정 시 DNS 레코드를 생성합니다.

를 사용하여 배포하는 경우 연산dnsConfig자는 다음을 수행합니다.

Route 53 DNS 관리 없이 사용자 지정 인증서 사용

Route 53 DNS 관리는 선택 사항입니다. 자체 DNS 레코드를 관리하려면 dnsConfig 섹션을 생략하고 도메인을 수동으로 구성합니다.

배포의 ALB 호스트 이름을 찾으려면 지능형 라우팅 활성화 여부에 따라 수신 이름이 달라집니다.

지능형 라우팅 사용 안 함: 네임스페이스alb-<deployment-name>에서 수신 이름이 지정됩니다.

kubectl get ingress alb-<deployment-name> -n <namespace> \
  -o jsonpath='{.status.loadBalancer.ingress[0].hostname}'

지능형 라우팅 사용: 네hyperpod-inference-system임스페이스alb-<deployment-name>-<namespace>에서 수신 이름이 지정됩니다.

kubectl get ingress alb-<deployment-name>-<namespace> -n hyperpod-inference-system \
  -o jsonpath='{.status.loadBalancer.ingress[0].hostname}'

DNS 공급자에서 도메인이이 ALB 호스트 이름을 가리키도록 DNS 레코드를 생성합니다.

배포 상태 확인

사용자 지정 인증서 상태 확인

kubectl describe InferenceEndpointConfig my-model -n my-namespace

상태에서 tlsCertificate 섹션을 찾습니다.

Status:
  Tls Certificate:
    Certificate ARN:    arn:aws:acm:us-west-2:123456789012:certificate/abc12345-...
    Certificate Health: Valid
    Certificate Domain Names:
      api.example.com
    Last Cert Expiry Time: 2027-04-23T00:00:00Z

인증서 상태 값:

운영자는 24시간마다 인증서 만료를 확인합니다. 인증서가 ACM에서 갱신된 것을 감지하면(NotAfter날짜 변경) Amazon S3에 퍼블릭 인증서를 자동으로 다시 업로드하고 CertificateRenewed 이벤트를 내보냅니다.

DNS 상태 확인

dnsStatus 섹션을 찾습니다.

Status:
  Dns Status:
    Managed By Operator: true
    Record Name:         api.example.com
    Hosted Zone Id:      Z1234567890ABC
    Dns Health:          Active
    Message:             DNS record resolves successfully

DNS 상태 값:

배포된 엔드포인트 테스트

Route 53 DNS 관리를 구성한 경우 DNS 상태가 로 표시된 후 사용자 지정 도메인을 사용하여 엔드포인트를 호출합니다Active. DNS 관리 없이 사용자 지정 인증서만 구성한 경우 수신의 ALB 호스트 이름을 사용합니다( 참조Route 53 DNS 관리 없이 사용자 지정 인증서 사용).

curl -X POST https://api.example.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "my-llm", "messages": [{"role": "user", "content": "Hello"}]}'

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name my-model \
  --content-type "application/json" \
  --body '{"model": "my-llm", "messages": [{"role": "user", "content": "Hello"}]}' \
  --region us-west-2 \
  --cli-binary-format raw-in-base64-out \
  /dev/stdout

사용자 지정 인증서 및 DNS 레코드 관리

도메인 또는 호스팅 영역 변경

실행 중인 배포에서 domainName (customCertificateConfig) 또는 hostedZoneId (dnsConfig)를 업데이트할 수 있습니다. 도메인 이름을 변경하면 인증서 재검증과 DNS 전환이 모두 트리거됩니다. 새 도메인은 ACM 인증서(SAN 또는 와일드카드 일치)에서 유효해야 합니다.

운영자는 안전한 전환을 수행합니다.

전환 중에 이전 도메인과 새 도메인이 모두 ALB로 확인됩니다. TXT 소유권 레코드의 TTL은 300초(5분)이므로 DNS 클라이언트는 정리 후 최대 5분 동안 이전 레코드를 캐싱할 수 있습니다.

정리

dnsConfig 섹션을 삭제InferenceEndpointConfig하거나 제거하면 연산자가 생성한 Route 53 A 및 TXT 레코드를 자동으로 삭제합니다. 연산자는 자신이 소유한 레코드만 삭제합니다(소유권 TXT 레코드로 확인됨).

문제 해결

사용자 지정 인증서 또는 DNS 구성이 예상대로 작동하지 않는 경우이 디버깅 단계를 사용합니다.