本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

HyperPod 推論的自訂憑證和 Route 53 DNS 管理

下列步驟說明如何將自己的 ACM 憑證用於 HyperPod 推論端點，並選擇性地設定運算子來管理自訂網域的 Route 53 DNS 記錄。

使用自訂憑證，您可以提供 ACM 憑證 ARN，而運算子會將憑證連接到 Application Load Balancer (ALB)、監控其運作狀態，並支援自動續約偵測。運算子支援公開信任的 ACM 憑證、 AWS 私有 CA 憑證，以及從外部 CAs憑證。

自訂憑證可以單獨使用，也可以與 Route 53 DNS 管理結合使用。Route 53 DNS 管理需要自訂憑證，並使用憑證組態中的網域名稱來建立和管理 DNS 記錄。

先決條件

開始之前，請確認您已：

設定 IAM 許可

推論運算子的執行角色需要自訂憑證和 Route 53 DNS 管理的額外許可。將下列政策新增至 HyperPod 推論執行角色。

自訂憑證的 ACM 和 Amazon S3 許可

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ACMCustomCertificateAccess",
            "Effect": "Allow",
            "Action": [
                "acm:DescribeCertificate",
                "acm:GetCertificate"
            ],
            "Resource": "arn:aws:acm:<region>:<account-id>:certificate/*"
        },
        {
            "Sid": "S3CertificateUpload",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:PutObjectTagging"
            ],
            "Resource": "arn:aws:s3:::<tls-certificate-bucket>/*",
            "Condition": {
                "StringEquals": {
                    "s3:RequestObjectTag/CreatedBy": "HyperPodInference"
                }
            }
        }
    ]
}

DNS 管理的 Route 53 許可

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Route53DNSManagement",
            "Effect": "Allow",
            "Action": [
                "route53:GetHostedZone",
                "route53:ListResourceRecordSets",
                "route53:ChangeResourceRecordSets"
            ],
            "Resource": "arn:aws:route53:::hostedzone/<hosted-zone-id>"
        }
    ]
}

將 <region>、<tls-certificate-bucket>、 <account-id>和 取代<hosted-zone-id>為您的實際值。您可以將 ACM 資源 ARN 範圍限定為特定憑證，以提高安全性。

設定自訂憑證

若要使用自訂憑證，請在 InferenceEndpointConfig或 JumpStartModel規格tlsConfig中將 customCertificateConfig區段新增至您的 。tlsConfig 和 dnsConfig 欄位在兩個 CRDs中都相同。

下列欄位可在 customCertificateConfig和 中使用tlsConfig：

以下是使用自訂憑證建立端點的範例 YAML 檔案。

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: my-model
  namespace: my-namespace
spec:
  modelName: my-llm
  instanceType: ml.g5.24xlarge
  invocationEndpoint: v1/chat/completions
  replicas: 2
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: my-model-bucket
      region: us-west-2
    modelLocation: models/my-llm
  tlsConfig:
    customCertificateConfig:
      acmArn: arn:aws:acm:us-west-2:123456789012:certificate/abc12345-1234-1234-1234-abc123456789
      domainName: api.example.com
    tlsCertificateOutputS3Uri: s3://my-tls-bucket
  worker:
    image: my-inference-image:latest
    modelInvocationPort:
      containerPort: 8000
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    resources:
      limits:
        nvidia.com/gpu: "4"
      requests:
        cpu: "6"
        memory: 30Gi
        nvidia.com/gpu: "4"

您可以將 customCertificateConfig新增至已在執行的部署。運算子會在下次對帳時偵測變更、驗證憑證、將其連接至 ALB，以及將公有憑證上傳至 Amazon S3。不需要停機或重新部署。

設定 Route 53 DNS 管理

Route 53 DNS 管理需要設定自訂憑證，並使用來自 的網域名稱tlsConfig.customCertificateConfig.domainName。如果您尚未設定自訂憑證，設定自訂憑證請先參閱 。

若要啟用 Route 53 DNS 管理，請將 dnsConfig區段新增至您的規格：

spec:
  tlsConfig:
    customCertificateConfig:
      acmArn: arn:aws:acm:us-west-2:123456789012:certificate/abc12345-1234-1234-1234-abc123456789
      domainName: api.example.com
    tlsCertificateOutputS3Uri: s3://my-tls-bucket
  dnsConfig:
    hostedZoneId: Z1234567890ABC

dnsConfig 區段可以與 同時新增customCertificateConfig，或稍後新增至現有的部署。運算子會在下一次調校時建立 DNS 記錄，而不會重新啟動您的 Pod。

當您使用 部署 時dnsConfig，運算子會：

使用不含 Route 53 DNS 管理的自訂憑證

Route 53 DNS 管理是選用的。如果您想要管理自己的 DNS 記錄，請省略 dnsConfig區段，並手動設定您的網域。

若要尋找部署的 ALB 主機名稱，輸入名稱取決於是否啟用智慧型路由。

沒有智慧型路由：傳入會在您的命名空間alb-<deployment-name>中命名。

kubectl get ingress alb-<deployment-name> -n <namespace> \
  -o jsonpath='{.status.loadBalancer.ingress[0].hostname}'

使用智慧型路由：傳入在hyperpod-inference-system命名空間alb-<deployment-name>-<namespace>中命名。

kubectl get ingress alb-<deployment-name>-<namespace> -n hyperpod-inference-system \
  -o jsonpath='{.status.loadBalancer.ingress[0].hostname}'

在將網域指向此 ALB 主機名稱的 DNS 供應商中建立 DNS 記錄：

驗證部署的狀態

檢查自訂憑證狀態

kubectl describe InferenceEndpointConfig my-model -n my-namespace

尋找 狀態的 tlsCertificate區段：

Status:
  Tls Certificate:
    Certificate ARN:    arn:aws:acm:us-west-2:123456789012:certificate/abc12345-...
    Certificate Health: Valid
    Certificate Domain Names:
      api.example.com
    Last Cert Expiry Time: 2027-04-23T00:00:00Z

憑證運作狀態值：

運算子會每 24 小時檢查一次憑證過期。當它偵測到憑證已在 ACM 中續約 (NotAfter日期變更） 時，會自動將公有憑證重新上傳至 Amazon S3 並發出CertificateRenewed事件。

檢查 DNS 狀態

尋找 dnsStatus區段：

Status:
  Dns Status:
    Managed By Operator: true
    Record Name:         api.example.com
    Hosted Zone Id:      Z1234567890ABC
    Dns Health:          Active
    Message:             DNS record resolves successfully

DNS 運作狀態值：

測試部署的端點

如果您已設定 Route 53 DNS 管理，請在 DNS 狀態顯示 後，使用自訂網域叫用您的端點Active。如果您只設定沒有 DNS 管理的自訂憑證，請使用來自傳入的 ALB 主機名稱 （請參閱 使用不含 Route 53 DNS 管理的自訂憑證)。

curl -X POST https://api.example.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "my-llm", "messages": [{"role": "user", "content": "Hello"}]}'

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name my-model \
  --content-type "application/json" \
  --body '{"model": "my-llm", "messages": [{"role": "user", "content": "Hello"}]}' \
  --region us-west-2 \
  --cli-binary-format raw-in-base64-out \
  /dev/stdout

管理您的自訂憑證和 DNS 記錄

變更網域或託管區域

您可以在執行中的部署上更新 domainName（在 customCertificateConfig中） 或 hostedZoneId（在 中dnsConfig)。變更網域名稱會同時觸發憑證重新驗證和 DNS 切換 — 新的網域在 ACM 憑證中必須是有效的 （做為 SAN 或萬用字元比對）。

運算子會執行安全切換：

在轉換期間，新舊網域都會解析為 ALB。TXT 擁有權記錄的 TTL 為 300 秒 (5 分鐘），因此 DNS 用戶端可能會在清除後快取舊記錄最多 5 分鐘。

清除

當您刪除InferenceEndpointConfig或移除 dnsConfig區段時，運算子會自動刪除其建立的 Route 53 A 和 TXT 記錄。運算子只會刪除其擁有的記錄 （由擁有權 TXT 記錄驗證）。

疑難排解

如果您的自訂憑證或 DNS 組態未如預期般運作，請使用這些偵錯步驟。