As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Certificados personalizados e gerenciamento de DNS do Route 53 para HyperPod inferência

As etapas a seguir mostram como usar seus próprios certificados ACM para endpoints de HyperPod inferência e, opcionalmente, configurar o operador para gerenciar os registros DNS do Route 53 para seu domínio personalizado.

Com certificados personalizados, você fornece um certificado ACM ARN e o operador o anexa ao Application Load Balancer (ALB), monitora sua integridade e oferece suporte à detecção automática de renovação. O operador oferece suporte a certificados ACM de confiança pública, certificados de CA AWS privada e certificados importados de CAs externas.

Os certificados personalizados podem ser usados sozinhos ou combinados com o gerenciamento de DNS do Route 53. O gerenciamento de DNS do Route 53 requer um certificado personalizado e usa o nome de domínio da configuração do seu certificado para criar e gerenciar registros DNS.

Pré-requisitos

Antes de começar, verifique se você:

Configurar permissões do IAM

A função de execução do operador de inferência exige permissões adicionais para certificados personalizados e gerenciamento de DNS do Route 53. Adicione as políticas a seguir à sua função de execução de HyperPod inferência.

Permissões do ACM e do Amazon S3 para certificados personalizados

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ACMCustomCertificateAccess",
            "Effect": "Allow",
            "Action": [
                "acm:DescribeCertificate",
                "acm:GetCertificate"
            ],
            "Resource": "arn:aws:acm:<region>:<account-id>:certificate/*"
        },
        {
            "Sid": "S3CertificateUpload",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:PutObjectTagging"
            ],
            "Resource": "arn:aws:s3:::<tls-certificate-bucket>/*",
            "Condition": {
                "StringEquals": {
                    "s3:RequestObjectTag/CreatedBy": "HyperPodInference"
                }
            }
        }
    ]
}

Permissões do Route 53 para gerenciamento de DNS

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Route53DNSManagement",
            "Effect": "Allow",
            "Action": [
                "route53:GetHostedZone",
                "route53:ListResourceRecordSets",
                "route53:ChangeResourceRecordSets"
            ],
            "Resource": "arn:aws:route53:::hostedzone/<hosted-zone-id>"
        }
    ]
}

Substitua <region><account-id>,<tls-certificate-bucket>,, e <hosted-zone-id> por seus valores reais. Você pode definir o escopo do ARN do recurso ACM para certificados específicos para maior segurança.

Configurar um certificado personalizado

Para usar um certificado personalizado, adicione a customCertificateConfig seção à sua tlsConfig na JumpStartModel especificação InferenceEndpointConfig ou. Os dnsConfig campos tlsConfig e são idênticos nos dois CRDs.

Os campos a seguir estão disponíveis em customCertificateConfig etlsConfig:

Veja a seguir um exemplo de arquivo YAML para criar um endpoint com um certificado personalizado.

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: my-model
  namespace: my-namespace
spec:
  modelName: my-llm
  instanceType: ml.g5.24xlarge
  invocationEndpoint: v1/chat/completions
  replicas: 2
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: my-model-bucket
      region: us-west-2
    modelLocation: models/my-llm
  tlsConfig:
    customCertificateConfig:
      acmArn: arn:aws:acm:us-west-2:123456789012:certificate/abc12345-1234-1234-1234-abc123456789
      domainName: api.example.com
    tlsCertificateOutputS3Uri: s3://my-tls-bucket
  worker:
    image: my-inference-image:latest
    modelInvocationPort:
      containerPort: 8000
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    resources:
      limits:
        nvidia.com/gpu: "4"
      requests:
        cpu: "6"
        memory: 30Gi
        nvidia.com/gpu: "4"

Você pode adicionar customCertificateConfig a uma implantação que já está em execução. O operador detecta a alteração na próxima reconciliação, valida o certificado, o anexa ao ALB e carrega o certificado público no Amazon S3. Não é necessário tempo de inatividade ou reimplantação.

Configurar o gerenciamento de DNS do Route 53

O gerenciamento de DNS do Route 53 exige que um certificado personalizado seja configurado e use o nome de domínio detlsConfig.customCertificateConfig.domainName. Se você não configurou um certificado personalizado, consulte Configurar um certificado personalizado primeiro.

Para habilitar o gerenciamento de DNS do Route 53, adicione a dnsConfig seção à sua especificação:

spec:
  tlsConfig:
    customCertificateConfig:
      acmArn: arn:aws:acm:us-west-2:123456789012:certificate/abc12345-1234-1234-1234-abc123456789
      domainName: api.example.com
    tlsCertificateOutputS3Uri: s3://my-tls-bucket
  dnsConfig:
    hostedZoneId: Z1234567890ABC

A dnsConfig seção pode ser adicionada ao mesmo customCertificateConfig tempo ou adicionada posteriormente a uma implantação existente. O operador cria os registros DNS na próxima reconciliação sem reiniciar seus pods.

Quando você implanta comdnsConfig, o operador:

Use um certificado personalizado sem o gerenciamento de DNS do Route 53

O gerenciamento de DNS do Route 53 é opcional. Se você quiser gerenciar seus próprios registros DNS, omita a dnsConfig seção e configure seu domínio manualmente.

Para encontrar o nome do host ALB para sua implantação, o nome de entrada depende se o roteamento inteligente está habilitado.

Sem roteamento inteligente: a entrada é nomeada alb-<deployment-name> em seu namespace.

kubectl get ingress alb-<deployment-name> -n <namespace> \
  -o jsonpath='{.status.loadBalancer.ingress[0].hostname}'

Com roteamento inteligente: a entrada é nomeada alb-<deployment-name>-<namespace> no namespace. hyperpod-inference-system

kubectl get ingress alb-<deployment-name>-<namespace> -n hyperpod-inference-system \
  -o jsonpath='{.status.loadBalancer.ingress[0].hostname}'

Crie um registro DNS em seu provedor de DNS apontando seu domínio para este nome de host ALB:

Verificar o status da implantação

Verifique o status do certificado personalizado

kubectl describe InferenceEndpointConfig my-model -n my-namespace

Procure a tlsCertificate seção no status:

Status:
  Tls Certificate:
    Certificate ARN:    arn:aws:acm:us-west-2:123456789012:certificate/abc12345-...
    Certificate Health: Valid
    Certificate Domain Names:
      api.example.com
    Last Cert Expiry Time: 2027-04-23T00:00:00Z

Valores de saúde do certificado:

O operador verifica a expiração do certificado a cada 24 horas. Quando detecta que um certificado foi renovado no ACM (a NotAfter data muda), ele recarrega automaticamente o certificado público para o Amazon S3 e emite um evento. CertificateRenewed

Verifique o status do DNS

Procure a dnsStatus seção:

Status:
  Dns Status:
    Managed By Operator: true
    Record Name:         api.example.com
    Hosted Zone Id:      Z1234567890ABC
    Dns Health:          Active
    Message:             DNS record resolves successfully

Valores de integridade do DNS:

Teste o endpoint implantado

Se você configurou o gerenciamento de DNS do Route 53, invoque seu endpoint usando seu domínio personalizado depois que o status do DNS for exibido. Active Se você configurou somente um certificado personalizado sem gerenciamento de DNS, use o nome do host ALB da entrada (consulte). Use um certificado personalizado sem o gerenciamento de DNS do Route 53

curl -X POST https://api.example.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "my-llm", "messages": [{"role": "user", "content": "Hello"}]}'

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name my-model \
  --content-type "application/json" \
  --body '{"model": "my-llm", "messages": [{"role": "user", "content": "Hello"}]}' \
  --region us-west-2 \
  --cli-binary-format raw-in-base64-out \
  /dev/stdout

Gerencie seus certificados personalizados e registros DNS

Alterando o domínio ou a zona hospedada

Você pode atualizar o domainName (incustomCertificateConfig) ou hostedZoneId (indnsConfig) em uma implantação em execução. A alteração do nome de domínio aciona a revalidação do certificado e a substituição do DNS — o novo domínio deve ser válido em seu certificado ACM (como uma combinação de SAN ou curinga).

O operador realiza uma transição segura:

Durante a transição, os domínios antigos e novos são transferidos para o ALB. O registro de propriedade TXT tem um TTL de 300 segundos (5 minutos), então os clientes DNS podem armazenar em cache o registro antigo por até 5 minutos após a limpeza.

Limpeza

Quando você exclui InferenceEndpointConfig ou remove a dnsConfig seção, o operador exclui automaticamente os registros do Route 53 A e TXT que ele criou. O operador exclui somente os registros de sua propriedade (verificados pelo registro TXT de propriedade).

Solução de problemas

Use essas etapas de depuração se seu certificado personalizado ou configuração de DNS não estiver funcionando conforme o esperado.