Memantau Kemajuan di Seluruh Iterasi - Amazon SageMaker AI
Buat MLflow aplikasiAkses MLflow aplikasinyaMetrik kunci untuk dilacakMenentukan kapan harus berhenti

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memantau Kemajuan di Seluruh Iterasi

Anda dapat melacak metrik melalui MLflow.

Buat MLflow aplikasi

Menggunakan UI Studio: Jika Anda membuat pekerjaan pelatihan melalui UI Studio, MLflow aplikasi default dibuat secara otomatis dan dipilih secara default di bawah Opsi Lanjutan.

Menggunakan CLI: Jika Anda menggunakan CLI, Anda harus membuat MLflow aplikasi dan meneruskannya sebagai input ke permintaan API pekerjaan pelatihan.

mlflow_app_name="<enter your MLflow app name>"
role_arn="<enter your role ARN>" 
bucket_name="<enter your bucket name>" 
region="<enter your region>"

mlflow_app_arn=$(aws sagemaker create-mlflow-app \
  --name $mlflow_app_name \
  --artifact-store-uri "s3://$bucket_name" \
  --role-arn $role_arn \
  --region $region)

Akses MLflow aplikasinya

Menggunakan CLI: Buat URL yang telah ditandatangani sebelumnya untuk mengakses UI aplikasi: MLflow 

aws sagemaker create-presigned-mlflow-app-url \
  --arn $mlflow_app_arn \
  --region $region \
  --output text

Menggunakan UI Studio: UI Studio menampilkan metrik kunci yang disimpan MLflow dan menyediakan tautan ke UI MLflow aplikasi.

Metrik kunci untuk dilacak

Pantau metrik ini di seluruh iterasi untuk menilai peningkatan dan melacak kemajuan pekerjaan:

Untuk SFT

  • Kurva kehilangan pelatihan

  • Jumlah sampel yang dikonsumsi dan waktu untuk memproses sampel

  • Akurasi kinerja pada set uji yang diheld-out

  • Kepatuhan format (misalnya, tingkat keluaran JSON yang valid)

  • Kebingungan pada data evaluasi khusus domain

Untuk RFT

  • Skor hadiah rata-rata selama pelatihan

  • Distribusi hadiah (persentase respons hadiah tinggi)

  • Tren hadiah validasi (perhatikan pemasangan yang berlebihan)

  • Tingkat keberhasilan khusus tugas (misalnya, tingkat kelulusan eksekusi kode, akurasi masalah matematika)

Umum

  • Delta kinerja benchmark antara iterasi

  • Skor evaluasi manusia pada sampel yang representatif

  • Metrik produksi (jika menerapkan secara berulang)

Menentukan kapan harus berhenti

Berhenti iterasi saat:

  • Dataran tinggi kinerja: Pelatihan tambahan tidak lagi meningkatkan metrik target secara bermakna

  • Peralihan teknik membantu: Jika satu teknik mencapai puncaknya, coba beralih (misalnya, SFT → RFT → SFT) untuk menerobos langit-langit kinerja

  • Metrik target tercapai: Kriteria keberhasilan Anda terpenuhi

  • Regresi terdeteksi: Iterasi baru menurunkan kinerja (lihat prosedur rollback di bawah)

Untuk prosedur evaluasi terperinci, lihat bagian Evaluasi.