Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pengambilan data untuk inferensi pada HyperPod

Pengambilan data SageMaker HyperPod inferensi Amazon memungkinkan Anda merekam permintaan inferensi dan data respons untuk pemantauan model, debugging, dan peningkatan model. Permintaan inferensi mengalir dari titik akhir SageMaker AI ke Application Load Balancer dan kemudian ke pod model. Anda dapat mengaktifkan penangkapan secara independen di setiap level, dari lapisan terluar (Tier 1, titik akhir SageMaker AI) hingga lapisan terdalam (Tier 3, model pod):

Tier 1 menangkap muatan penuh pada batas SageMaker AI Runtime API dan memerlukan pendaftaran endpoint. Gunakan Tier 1 saat Anda membutuhkan kompatibilitas dengan SageMaker AI Model Monitor. Tier 3 menangkap muatan penuh pada wadah inferensi dengan batas buffering, sampling, dan payload yang dapat dikonfigurasi, dan berfungsi tanpa registrasi titik akhir AI. SageMaker Gunakan Tier 3 saat Anda membutuhkan visibilitas terdalam yang paling dekat dengan model. Aktifkan kombinasi apa pun — setiap tingkatan menangkap pada titik yang berbeda dalam alur permintaan.

Semua tingkatan menulis ke bucket Amazon S3 Anda. Jika Anda tidak menentukans3Uri, data disimpan dalam bucket sertifikat TLS di bawah /data-capture/ awalan secara default. Di dalam bucket, setiap penerapan mendapatkan jalur unik berdasarkan hash yang berasal dari ARN cluster, namespace, tipe CRD, dan nama penerapan. Penerapan yang sama selalu menghasilkan awalan yang sama, sehingga artefak menangkap data dari beberapa pengiriman CRD yang menargetkan aliran penerapan yang sama ke subfolder Amazon S3 yang sama.

Untuk menonaktifkan pengambilan data untuk suatu tingkatan, atur enabled bidangnya ke false atau hapus bagian tier dari CRD Anda. Untuk menonaktifkan semua pengambilan data, hapus dataCapture bagian seluruhnya.

Mengkonfigurasi pengambilan data

Aktifkan pengambilan data dengan menambahkan dataCapture bagian ke JumpStartModel CRD InferenceEndpointConfig atau Anda. dataCaptureBlok berisi konfigurasi tingkat tunggal s3Uri (opsional) dan satu atau lebih. Contoh berikut menunjukkan struktur keseluruhan dengan ketiga tingkatan diaktifkan:

  dataCapture:
    s3Uri: s3://my-capture-bucket/captures/   # Optional. Defaults to TLS bucket.
    sagemakerEndpoint:
      enabled: true
      # Tier 1 fields...
    loadBalancer:
      enabled: true
    modelPod:
      enabled: true
      # Tier 3 fields...

Tingkat 1: SageMaker Penangkapan titik akhir AI

Tier 1 menggunakan SageMaker AI asli DataCaptureConfig untuk menangkap input inferensi dan muatan output di tingkat titik akhir. Ini adalah titik pengambilan terluar dan kompatibel dengan SageMaker AI Model Monitor untuk pemantauan kualitas data otomatis. Untuk informasi selengkapnya tentang pengambilan data SageMaker AI, lihat Menangkap data dari titik akhir waktu nyata.

    sagemakerEndpoint:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      captureContentTypeHeader:
        jsonContentTypes:
          - application/json

Tingkat 2: Penangkapan penyeimbang beban

Tier 2 memungkinkan log akses ALB, menangkap metadata permintaan seperti IP klien, jalur permintaan, dan latensi.

    loadBalancer:
      enabled: true

Tingkat 3: Penangkapan pod model

Tier 3 menangkap muatan input dan output inferensi pada tingkat pod model, memberikan visibilitas terdalam ke lalu lintas inferensi. Gunakan tingkat ini saat Anda membutuhkan kontrol halus atas buffering, batas ukuran muatan, dan tangkapan yang paling dekat dengan model.

    modelPod:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      bufferConfig:
        batchSize: 100
        flushIntervalSeconds: 60
      payloadConfig:
        maxPayloadSizeKB: 1024

Perbarui Addon

Prasyarat: Otentikasi dan sambungkan ke kluster EKS Anda

Otentikasi ke AWS akun Anda. Sebelum menghubungkan, kumpulkan nama cluster EKS, wilayah, dan HyperPod ARN cluster:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION
HP_ARN=HYPERPOD_CLUSTER_ARN

Connect ke kluster EKS Anda:

aws eks update-kubeconfig --region REGION --name EKS_CLUSTER_NAME

Perbarui konfigurasi addon:

VERSION=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.addonVersion' --output text)
CURRENT_CONFIG=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.configurationValues' --output text)
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
--cluster-name $CLUSTER \
--addon-name amazon-sagemaker-hyperpod-inference \
--addon-version "$VERSION" \
--configuration-values "$NEW_CONFIG" \
--resolve-conflicts OVERWRITE \
--region $REGION

Tunggu hingga Addon aktif dan kemudian terapkan modelnya

Memperbarui izin untuk cluster yang ada

Untuk mengaktifkan pengambilan data pada penerapan HyperPod Inferensi Anda, konfigurasikan izin IAM berikut.

Praktik terbaik