Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Sertifikat kustom dan manajemen DNS Route 53 untuk Inferensi HyperPod

Langkah-langkah berikut menunjukkan cara menggunakan sertifikat ACM Anda sendiri untuk titik akhir HyperPod inferensi dan secara opsional mengonfigurasi operator untuk mengelola catatan DNS Route 53 untuk domain kustom Anda.

Dengan sertifikat khusus, Anda memberikan sertifikat ACM ARN dan operator melampirkannya ke Application Load Balancer (ALB), memantau kesehatannya, dan mendukung deteksi pembaruan otomatis. Operator mendukung sertifikat ACM tepercaya publik, sertifikat CA AWS Pribadi, dan sertifikat yang diimpor dari CA eksternal.

Sertifikat khusus dapat digunakan sendiri atau dikombinasikan dengan manajemen DNS Route 53. Manajemen DNS Route 53 memerlukan sertifikat khusus dan menggunakan nama domain dari konfigurasi sertifikat Anda untuk membuat dan mengelola catatan DNS.

Prasyarat

Sebelum Anda mulai, verifikasi bahwa Anda telah:

Mengonfigurasi izin IAM

Peran eksekusi operator inferensi memerlukan izin tambahan untuk sertifikat kustom dan manajemen DNS Route 53. Tambahkan kebijakan berikut ke peran eksekusi HyperPod Inferensi Anda.

Izin ACM dan Amazon S3 untuk sertifikat khusus

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ACMCustomCertificateAccess",
            "Effect": "Allow",
            "Action": [
                "acm:DescribeCertificate",
                "acm:GetCertificate"
            ],
            "Resource": "arn:aws:acm:<region>:<account-id>:certificate/*"
        },
        {
            "Sid": "S3CertificateUpload",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:PutObjectTagging"
            ],
            "Resource": "arn:aws:s3:::<tls-certificate-bucket>/*",
            "Condition": {
                "StringEquals": {
                    "s3:RequestObjectTag/CreatedBy": "HyperPodInference"
                }
            }
        }
    ]
}

Izin Route 53 untuk manajemen DNS

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Route53DNSManagement",
            "Effect": "Allow",
            "Action": [
                "route53:GetHostedZone",
                "route53:ListResourceRecordSets",
                "route53:ChangeResourceRecordSets"
            ],
            "Resource": "arn:aws:route53:::hostedzone/<hosted-zone-id>"
        }
    ]
}

Ganti<region>,<account-id>,<tls-certificate-bucket>, dan <hosted-zone-id> dengan nilai aktual Anda. Anda dapat memasukkan ARN sumber daya ACM ke sertifikat tertentu untuk keamanan yang lebih ketat.

Konfigurasikan sertifikat khusus

Untuk menggunakan sertifikat kustom, tambahkan customCertificateConfig bagian ke tlsConfig dalam InferenceEndpointConfig atau JumpStartModel spesifikasi Anda. dnsConfigBidang tlsConfig dan identik di kedua CRD.

Bidang berikut tersedia di customCertificateConfig dantlsConfig:

Berikut ini adalah contoh file YAMM untuk membuat endpoint dengan sertifikat kustom.

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: my-model
  namespace: my-namespace
spec:
  modelName: my-llm
  instanceType: ml.g5.24xlarge
  invocationEndpoint: v1/chat/completions
  replicas: 2
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: my-model-bucket
      region: us-west-2
    modelLocation: models/my-llm
  tlsConfig:
    customCertificateConfig:
      acmArn: arn:aws:acm:us-west-2:123456789012:certificate/abc12345-1234-1234-1234-abc123456789
      domainName: api.example.com
    tlsCertificateOutputS3Uri: s3://my-tls-bucket
  worker:
    image: my-inference-image:latest
    modelInvocationPort:
      containerPort: 8000
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    resources:
      limits:
        nvidia.com/gpu: "4"
      requests:
        cpu: "6"
        memory: 30Gi
        nvidia.com/gpu: "4"

Anda dapat menambahkan customCertificateConfig ke penerapan yang sudah berjalan. Operator mendeteksi perubahan pada rekonsiliasi berikutnya, memvalidasi sertifikat, melampirkannya ke ALB, dan mengunggah sertifikat publik ke Amazon S3. Tidak diperlukan waktu henti atau pemindahan.

Konfigurasikan manajemen DNS Route 53

Manajemen DNS Route 53 memerlukan sertifikat khusus untuk dikonfigurasi dan menggunakan nama domain daritlsConfig.customCertificateConfig.domainName. Jika Anda belum mengonfigurasi sertifikat khusus, lihat Konfigurasikan sertifikat khusus terlebih dahulu.

Untuk mengaktifkan manajemen DNS Route 53, tambahkan dnsConfig bagian ke spesifikasi Anda:

spec:
  tlsConfig:
    customCertificateConfig:
      acmArn: arn:aws:acm:us-west-2:123456789012:certificate/abc12345-1234-1234-1234-abc123456789
      domainName: api.example.com
    tlsCertificateOutputS3Uri: s3://my-tls-bucket
  dnsConfig:
    hostedZoneId: Z1234567890ABC

dnsConfigBagian ini dapat ditambahkan pada saat yang sama dengancustomCertificateConfig, atau ditambahkan nanti ke penerapan yang ada. Operator membuat catatan DNS pada rekonsiliasi berikutnya tanpa memulai ulang pod Anda.

Saat Anda menerapkan dengandnsConfig, operator:

Menggunakan sertifikat kustom tanpa manajemen DNS Route 53

Manajemen DNS Route 53 bersifat opsional. Jika Anda ingin mengelola catatan DNS Anda sendiri, hilangkan dnsConfig bagian tersebut dan konfigurasikan domain Anda secara manual.

Untuk menemukan nama host ALB untuk penerapan Anda, nama ingress bergantung pada apakah perutean cerdas diaktifkan.

Tanpa perutean cerdas: Ingress diberi nama alb-<deployment-name> di namespace Anda.

kubectl get ingress alb-<deployment-name> -n <namespace> \
  -o jsonpath='{.status.loadBalancer.ingress[0].hostname}'

Dengan perutean cerdas: Ingress dinamai alb-<deployment-name>-<namespace> di namespace. hyperpod-inference-system

kubectl get ingress alb-<deployment-name>-<namespace> -n hyperpod-inference-system \
  -o jsonpath='{.status.loadBalancer.ingress[0].hostname}'

Buat catatan DNS di penyedia DNS Anda yang mengarahkan domain Anda ke nama host ALB ini:

Verifikasi status penerapan Anda

Periksa status sertifikat khusus

kubectl describe InferenceEndpointConfig my-model -n my-namespace

Cari tlsCertificate bagian dalam status:

Status:
  Tls Certificate:
    Certificate ARN:    arn:aws:acm:us-west-2:123456789012:certificate/abc12345-...
    Certificate Health: Valid
    Certificate Domain Names:
      api.example.com
    Last Cert Expiry Time: 2027-04-23T00:00:00Z

Nilai kesehatan sertifikat:

Operator memeriksa kedaluwarsa sertifikat setiap 24 jam. Ketika mendeteksi bahwa sertifikat telah diperbarui di ACM (NotAftertanggal berubah), ia secara otomatis mengunggah kembali sertifikat publik ke Amazon S3 dan memancarkan acara. CertificateRenewed

Periksa status DNS

Cari dnsStatus bagian:

Status:
  Dns Status:
    Managed By Operator: true
    Record Name:         api.example.com
    Hosted Zone Id:      Z1234567890ABC
    Dns Health:          Active
    Message:             DNS record resolves successfully

Nilai kesehatan DNS:

Uji titik akhir yang digunakan

Jika Anda mengonfigurasi manajemen DNS Route 53, panggil titik akhir Anda menggunakan domain kustom setelah status DNS ditampilkan. Active Jika Anda hanya mengonfigurasi sertifikat khusus tanpa manajemen DNS, gunakan nama host ALB dari ingress (lihat). Menggunakan sertifikat kustom tanpa manajemen DNS Route 53

curl -X POST https://api.example.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "my-llm", "messages": [{"role": "user", "content": "Hello"}]}'

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name my-model \
  --content-type "application/json" \
  --body '{"model": "my-llm", "messages": [{"role": "user", "content": "Hello"}]}' \
  --region us-west-2 \
  --cli-binary-format raw-in-base64-out \
  /dev/stdout

Mengelola sertifikat kustom dan catatan DNS

Mengubah domain atau zona yang dihosting

Anda dapat memperbarui domainName (incustomCertificateConfig) atau hostedZoneId (indnsConfig) pada penerapan yang sedang berjalan. Mengubah nama domain memicu validasi ulang sertifikat dan pemotongan DNS — domain baru harus valid dalam sertifikat ACM Anda (sebagai pencocokan SAN atau wildcard).

Operator melakukan cutover yang aman:

Selama transisi, domain lama dan baru menyelesaikan ke ALB. Catatan kepemilikan TXT memiliki TTL 300 detik (5 menit), sehingga klien DNS dapat menyimpan catatan lama hingga 5 menit setelah pembersihan.

Pembersihan

Saat Anda menghapus InferenceEndpointConfig atau menghapus dnsConfig bagian tersebut, operator secara otomatis menghapus catatan Route 53 A dan TXT yang dibuatnya. Operator hanya menghapus catatan yang dimilikinya (diverifikasi oleh catatan TXT kepemilikan).

Pemecahan masalah

Gunakan langkah-langkah debugging ini jika sertifikat kustom atau konfigurasi DNS Anda tidak berfungsi seperti yang diharapkan.