Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Kualitas model
Pekerjaan pemantauan kualitas model memantau kinerja model dengan membandingkan prediksi yang dibuat model dengan label Ground Truth aktual yang coba diprediksi oleh model. Untuk melakukannya, pemantauan kualitas model menggabungkan data yang diambil dari inferensi real-time atau batch dengan label aktual yang Anda simpan di bucket Amazon S3, lalu membandingkan prediksi dengan label sebenarnya.
Untuk mengukur kualitas model, monitor model menggunakan metrik yang bergantung pada jenis masalah ML. Misalnya, jika model Anda untuk masalah regresi, salah satu metrik yang dievaluasi adalah mean square error (mse). Untuk informasi tentang semua metrik yang digunakan untuk jenis masalah ML yang berbeda, lihat[Metrik kualitas model dan pemantauan Amazon CloudWatch](model-monitor-model-quality-metrics.md).
Pemantauan kualitas model mengikuti langkah yang sama seperti pemantauan kualitas data, tetapi menambahkan langkah tambahan untuk menggabungkan label aktual dari Amazon S3 dengan prediksi yang diambil dari titik akhir inferensi waktu nyata atau pekerjaan transformasi batch. Untuk memantau kualitas model, ikuti langkah-langkah ini:
+ Aktifkan pengambilan data. Ini menangkap input dan output inferensi dari titik akhir inferensi real-time atau pekerjaan transformasi batch dan menyimpan data di Amazon S3. Untuk informasi selengkapnya, lihat [Pengambilan data](model-monitor-data-capture.md).
+ Buat garis dasar. Pada langkah ini, Anda menjalankan pekerjaan dasar yang membandingkan prediksi dari model dengan label Ground Truth dalam dataset dasar. Pekerjaan dasar secara otomatis membuat aturan statistik dasar dan kendala yang menentukan ambang batas yang digunakan untuk mengevaluasi kinerja model. Untuk informasi selengkapnya, lihat [Buat baseline kualitas model](model-monitor-model-quality-baseline.md).
+ Menentukan dan menjadwalkan pekerjaan pemantauan kualitas model. Untuk informasi spesifik dan contoh kode pekerjaan pemantauan kualitas model, lihat[Jadwalkan pekerjaan pemantauan kualitas model](model-monitor-model-quality-schedule.md). Untuk informasi umum tentang pemantauan pekerjaan, lihat[Jadwalkan pekerjaan pemantauan](model-monitor-scheduling.md).
+ Label Ground Truth yang memantau model digabungkan dengan data prediksi yang diambil dari titik akhir inferensi waktu nyata atau pekerjaan transformasi batch. Untuk informasi selengkapnya, lihat [Menelan label Ground Truth dan menggabungkannya dengan prediksi](model-monitor-model-quality-merge.md).
+ Integrasikan pemantauan kualitas model dengan Amazon CloudWatch. Untuk informasi selengkapnya, lihat [Memantau metrik kualitas model dengan CloudWatch](model-monitor-model-quality-metrics.md#model-monitor-model-quality-cw).
+ Menafsirkan hasil pekerjaan pemantauan. Untuk informasi selengkapnya, lihat [Menafsirkan hasil](model-monitor-interpreting-results.md).
+ Gunakan SageMaker Studio untuk mengaktifkan pemantauan kualitas model dan memvisualisasikan hasil. Untuk informasi selengkapnya, lihat [Visualisasikan hasil untuk titik akhir real-time di Amazon Studio SageMaker](model-monitor-interpreting-visualize-results.md).
**Topics**
+ [Buat baseline kualitas model](model-monitor-model-quality-baseline.md)
+ [Jadwalkan pekerjaan pemantauan kualitas model](model-monitor-model-quality-schedule.md)
+ [Menelan label Ground Truth dan menggabungkannya dengan prediksi](model-monitor-model-quality-merge.md)
+ [Metrik kualitas model dan pemantauan Amazon CloudWatch](model-monitor-model-quality-metrics.md)
# Buat baseline kualitas model
Buat pekerjaan dasar yang membandingkan prediksi model Anda dengan label kebenaran dasar dalam kumpulan data dasar yang telah Anda simpan di Amazon S3. Biasanya, Anda menggunakan dataset pelatihan sebagai dataset dasar. Pekerjaan dasar menghitung metrik untuk model dan menyarankan kendala untuk digunakan untuk memantau penyimpangan kualitas model.
Untuk membuat pekerjaan dasar, Anda harus memiliki kumpulan data yang berisi prediksi dari model Anda bersama dengan label yang mewakili Ground Truth untuk data Anda.
Untuk membuat pekerjaan dasar, gunakan `ModelQualityMonitor` kelas yang disediakan oleh SageMaker Python SDK, dan selesaikan langkah-langkah berikut.
**Untuk membuat pekerjaan dasar kualitas model**
1. Pertama, buat instance dari `ModelQualityMonitor` kelas. Cuplikan kode berikut menunjukkan cara melakukan ini.
```
from sagemaker import get_execution_role, session, Session
from sagemaker.model_monitor import ModelQualityMonitor
role = get_execution_role()
session = Session()
model_quality_monitor = ModelQualityMonitor(
role=role,
instance_count=1,
instance_type='ml.m5.xlarge',
volume_size_in_gb=20,
max_runtime_in_seconds=1800,
sagemaker_session=session
)
```
1. Sekarang panggil `suggest_baseline` metode `ModelQualityMonitor` objek untuk menjalankan pekerjaan dasar. Cuplikan kode berikut mengasumsikan bahwa Anda memiliki kumpulan data dasar yang berisi prediksi dan label yang disimpan di Amazon S3.
```
baseline_job_name = "MyBaseLineJob"
job = model_quality_monitor.suggest_baseline(
job_name=baseline_job_name,
baseline_dataset=baseline_dataset_uri, # The S3 location of the validation dataset.
dataset_format=DatasetFormat.csv(header=True),
output_s3_uri = baseline_results_uri, # The S3 location to store the results.
problem_type='BinaryClassification',
inference_attribute= "prediction", # The column in the dataset that contains predictions.
probability_attribute= "probability", # The column in the dataset that contains probabilities.
ground_truth_attribute= "label" # The column in the dataset that contains ground truth labels.
)
job.wait(logs=False)
```
1. Setelah pekerjaan dasar selesai, Anda dapat melihat kendala yang dihasilkan oleh pekerjaan. Pertama, dapatkan hasil pekerjaan dasar dengan memanggil `latest_baselining_job` metode objek. `ModelQualityMonitor`
```
baseline_job = model_quality_monitor.latest_baselining_job
```
1. Pekerjaan dasar menunjukkan kendala, yang merupakan ambang batas untuk metrik yang memodelkan ukuran monitor. Jika metrik melampaui ambang batas yang disarankan, Model Monitor melaporkan pelanggaran. Untuk melihat kendala yang dihasilkan oleh pekerjaan dasar, panggil `suggested_constraints` metode pekerjaan dasar. Cuplikan kode berikut memuat batasan untuk model klasifikasi biner ke dalam kerangka data Pandas.
```
import pandas as pd
pd.DataFrame(baseline_job.suggested_constraints().body_dict["binary_classification_constraints"]).T
```
Kami menyarankan Anda melihat batasan yang dihasilkan dan memodifikasinya seperlunya sebelum menggunakannya untuk pemantauan. Misalnya, jika kendala terlalu agresif, Anda mungkin mendapatkan lebih banyak peringatan untuk pelanggaran daripada yang Anda inginkan.
Jika kendala Anda berisi angka yang dinyatakan dalam notasi ilmiah, Anda perlu mengubahnya menjadi float. Contoh [skrip preprocessing](https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor-pre-and-post-processing.html#model-monitor-pre-processing-script) python berikut menunjukkan cara mengonversi angka dalam notasi ilmiah menjadi float.
```
import csv
def fix_scientific_notation(col):
try:
return format(float(col), "f")
except:
return col
def preprocess_handler(csv_line):
reader = csv.reader([csv_line])
csv_record = next(reader)
#skip baseline header, change HEADER_NAME to the first column's name
if csv_record[0] == “HEADER_NAME”:
return []
return { str(i).zfill(20) : fix_scientific_notation(d) for i, d in enumerate(csv_record)}
```
Anda dapat menambahkan skrip pra-pemrosesan ke baseline atau jadwal pemantauan sebagai`record_preprocessor_script`, seperti yang didefinisikan dalam dokumentasi [Model](https://sagemaker.readthedocs.io/en/stable/api/inference/model_monitor.html) Monitor.
1. Ketika Anda puas dengan kendala, berikan mereka sebagai `constraints` parameter saat Anda membuat jadwal pemantauan. Untuk informasi selengkapnya, lihat [Jadwalkan pekerjaan pemantauan kualitas model](model-monitor-model-quality-schedule.md).
Batasan dasar yang disarankan terkandung dalam file constraints.json di lokasi yang Anda tentukan. `output_s3_uri` Untuk informasi tentang skema untuk file ini di. [Skema untuk Kendala (file kendala json)](model-monitor-byoc-constraints.md)
# Jadwalkan pekerjaan pemantauan kualitas model
Setelah Anda membuat baseline Anda, Anda dapat memanggil `create_monitoring_schedule()` metode instance `ModelQualityMonitor` kelas Anda untuk menjadwalkan monitor kualitas model per jam. Bagian berikut menunjukkan cara membuat monitor kualitas model untuk model yang diterapkan ke titik akhir real-time serta untuk pekerjaan transformasi batch.
**penting**
Anda dapat menentukan input transformasi batch atau input titik akhir, tetapi tidak keduanya, saat Anda membuat jadwal pemantauan.
Tidak seperti pemantauan kualitas data, Anda perlu menyediakan label Ground Truth jika Anda ingin memantau kualitas model. Namun, label Ground Truth bisa ditunda. Untuk mengatasinya, tentukan offset saat Anda membuat jadwal pemantauan.
## Offset monitor model
Pekerjaan kualitas model meliputi `StartTimeOffset` dan`EndTimeOffset`, yang merupakan bidang `ModelQualityJobInput` parameter `create_model_quality_job_definition` metode yang berfungsi sebagai berikut:
+ `StartTimeOffset`- Jika ditentukan, pekerjaan kurangi waktu ini dari waktu mulai.
+ `EndTimeOffset`- Jika ditentukan, pekerjaan kurangi waktu ini dari waktu akhir.
Format offset adalah, misalnya, - PT7 H, di mana 7H adalah 7 jam. Anda dapat menggunakan -PT \$1H atau -P \$1D, di mana H = jam, D = hari, dan m = menit, dan \$1 adalah nomornya. Selain itu, offset harus dalam format durasi [ISO 8601](https://en.wikipedia.org/wiki/ISO_8601#Durations).
Misalnya, jika Ground Truth Anda mulai masuk setelah 1 hari, tetapi tidak selesai selama seminggu, atur `StartTimeOffset` ke `-P8D` dan `EndTimeOffset` ke`-P1D`. Kemudian, jika Anda menjadwalkan pekerjaan untuk dijalankan`2020-01-09T13:00`, itu menganalisis data dari antara `2020-01-01T13:00` dan`2020-01-08T13:00`.
**penting**
Irama jadwal harus sedemikian rupa sehingga satu eksekusi selesai sebelum eksekusi berikutnya dimulai, yang memungkinkan pekerjaan penggabungan Ground Truth dan pekerjaan pemantauan dari eksekusi selesai. Runtime maksimum eksekusi dibagi antara dua pekerjaan, jadi untuk pekerjaan pemantauan kualitas model per jam, nilai yang `MaxRuntimeInSeconds` ditentukan sebagai bagian dari `StoppingCondition` harus tidak lebih dari 1800.
## Pemantauan kualitas model untuk model yang digunakan ke titik akhir waktu nyata
Untuk menjadwalkan monitor kualitas model untuk titik akhir real-time, teruskan `EndpointInput` instance Anda ke `endpoint_input` argumen `ModelQualityMonitor` instance Anda, seperti yang ditunjukkan dalam contoh kode berikut:
```
from sagemaker.model_monitor import CronExpressionGenerator
model_quality_model_monitor = ModelQualityMonitor(
role=sagemaker.get_execution_role(),
...
)
schedule = model_quality_model_monitor.create_monitoring_schedule(
monitor_schedule_name=schedule_name,
post_analytics_processor_script=s3_code_postprocessor_uri,
output_s3_uri=s3_report_path,
schedule_cron_expression=CronExpressionGenerator.hourly(),
statistics=model_quality_model_monitor.baseline_statistics(),
constraints=model_quality_model_monitor.suggested_constraints(),
schedule_cron_expression=CronExpressionGenerator.hourly(),
enable_cloudwatch_metrics=True,
endpoint_input=EndpointInput(
endpoint_name=endpoint_name,
destination="/opt/ml/processing/input/endpoint",
start_time_offset="-PT2D",
end_time_offset="-PT1D",
)
)
```
## Pemantauan kualitas model untuk pekerjaan transformasi batch
Untuk menjadwalkan monitor kualitas model untuk pekerjaan transformasi batch, teruskan `BatchTransformInput` instance Anda ke `batch_transform_input` argumen `ModelQualityMonitor` instance Anda, seperti yang ditunjukkan dalam contoh kode berikut:
```
from sagemaker.model_monitor import CronExpressionGenerator
model_quality_model_monitor = ModelQualityMonitor(
role=sagemaker.get_execution_role(),
...
)
schedule = model_quality_model_monitor.create_monitoring_schedule(
monitor_schedule_name=mon_schedule_name,
batch_transform_input=BatchTransformInput(
data_captured_destination_s3_uri=s3_capture_upload_path,
destination="/opt/ml/processing/input",
dataset_format=MonitoringDatasetFormat.csv(header=False),
# the column index of the output representing the inference probablity
probability_attribute="0",
# the threshold to classify the inference probablity to class 0 or 1 in
# binary classification problem
probability_threshold_attribute=0.5,
# look back 6 hour for transform job outputs.
start_time_offset="-PT6H",
end_time_offset="-PT0H"
),
ground_truth_input=gt_s3_uri,
output_s3_uri=s3_report_path,
problem_type="BinaryClassification",
constraints = constraints_path,
schedule_cron_expression=CronExpressionGenerator.hourly(),
enable_cloudwatch_metrics=True,
)
```
# Menelan label Ground Truth dan menggabungkannya dengan prediksi
Pemantauan kualitas model membandingkan prediksi yang dibuat model Anda dengan label kebenaran dasar untuk mengukur kualitas model. Agar ini berfungsi, Anda secara berkala memberi label data yang diambil oleh pekerjaan endpoint atau batch transform Anda dan mengunggahnya ke Amazon S3.
Untuk mencocokkan label Ground Truth dengan data prediksi yang diambil, harus ada pengidentifikasi unik untuk setiap rekaman dalam kumpulan data. Struktur setiap catatan untuk data kebenaran dasar adalah sebagai berikut:
```
{
"groundTruthData": {
"data": "1",
"encoding": "CSV"
},
"eventMetadata": {
"eventId": "aaaa-bbbb-cccc"
},
"eventVersion": "0"
}
```
Dalam `groundTruthData` struktur, `eventId` dapat menjadi salah satu dari berikut ini:
+ `eventId`— ID ini secara otomatis dihasilkan ketika pengguna memanggil titik akhir.
+ `inferenceId`— Penelepon memasok ID ini ketika mereka memanggil titik akhir.
Jika `inferenceId` ada dalam rekaman data yang diambil, Model Monitor menggunakannya untuk menggabungkan data yang diambil dengan catatan Ground Truth. Anda bertanggung jawab untuk memastikan bahwa catatan `inferenceId` in the Ground Truth cocok dengan catatan yang ditangkap. `inferenceId` Jika tidak `inferenceId` ada dalam data yang diambil, monitor model menggunakan `eventId` dari catatan data yang diambil untuk mencocokkannya dengan catatan Ground Truth.
Anda harus mengunggah data Ground Truth ke bucket Amazon S3 yang memiliki format jalur yang sama dengan data yang diambil.
**Persyaratan format data**
Saat Anda menyimpan data Anda ke Amazon S3, data tersebut harus menggunakan format jsonlines (.jsonl), dan disimpan menggunakan struktur penamaan berikut. Untuk mempelajari lebih lanjut tentang persyaratan jsonline, lihat. [Gunakan data input dan output](sms-data.md)
```
s3://amzn-s3-demo-bucket1/prefix/yyyy/mm/dd/hh
```
Tanggal di jalur ini adalah tanggal ketika label Ground Truth dikumpulkan, dan tidak harus cocok dengan tanggal ketika inferensi dihasilkan.
Setelah Anda membuat dan mengunggah label Ground Truth, sertakan lokasi label sebagai parameter saat Anda membuat pekerjaan pemantauan. Jika Anda menggunakan AWS SDK untuk Python (Boto3), lakukan ini dengan menentukan lokasi label Ground Truth sebagai `S3Uri` bidang `GroundTruthS3Input` parameter dalam panggilan ke `create_model_quality_job_definition` metode. Jika Anda menggunakan SageMaker Python SDK, tentukan lokasi label Ground Truth sebagai `ground_truth_input` parameter dalam panggilan ke `create_monitoring_schedule` objek. `ModelQualityMonitor`
# Metrik kualitas model dan pemantauan Amazon CloudWatch
Pekerjaan pemantauan kualitas model menghitung metrik yang berbeda untuk mengevaluasi kualitas dan kinerja model pembelajaran mesin Anda. Metrik spesifik yang dihitung tergantung pada jenis masalah ML: regresi, klasifikasi biner, atau klasifikasi multikelas. Memantau metrik ini sangat penting untuk mendeteksi penyimpangan model dari waktu ke waktu. Bagian berikut mencakup metrik kualitas model utama untuk setiap jenis masalah, serta cara mengatur pemantauan dan peringatan otomatis CloudWatch untuk terus melacak kinerja model Anda.
**catatan**
Standar deviasi untuk metrik disediakan hanya jika setidaknya 200 sampel tersedia. Model Monitor menghitung standar deviasi dengan mengambil sampel 80% data secara acak lima kali, menghitung metrik, dan mengambil standar deviasi untuk hasil tersebut.
## Metrik regresi
Berikut ini menunjukkan contoh metrik yang dihitung oleh monitor kualitas model untuk masalah regresi.
```
"regression_metrics" : {
"mae" : {
"value" : 0.3711832061068702,
"standard_deviation" : 0.0037566388129940394
},
"mse" : {
"value" : 0.3711832061068702,
"standard_deviation" : 0.0037566388129940524
},
"rmse" : {
"value" : 0.609248066149471,
"standard_deviation" : 0.003079253267651125
},
"r2" : {
"value" : -1.3766111872212665,
"standard_deviation" : 0.022653980022771227
}
}
```
## Metrik klasifikasi biner
Berikut ini menunjukkan contoh metrik yang dihitung oleh monitor kualitas model untuk masalah klasifikasi biner.
```
"binary_classification_metrics" : {
"confusion_matrix" : {
"0" : {
"0" : 1,
"1" : 2
},
"1" : {
"0" : 0,
"1" : 1
}
},
"recall" : {
"value" : 1.0,
"standard_deviation" : "NaN"
},
"precision" : {
"value" : 0.3333333333333333,
"standard_deviation" : "NaN"
},
"accuracy" : {
"value" : 0.5,
"standard_deviation" : "NaN"
},
"recall_best_constant_classifier" : {
"value" : 1.0,
"standard_deviation" : "NaN"
},
"precision_best_constant_classifier" : {
"value" : 0.25,
"standard_deviation" : "NaN"
},
"accuracy_best_constant_classifier" : {
"value" : 0.25,
"standard_deviation" : "NaN"
},
"true_positive_rate" : {
"value" : 1.0,
"standard_deviation" : "NaN"
},
"true_negative_rate" : {
"value" : 0.33333333333333337,
"standard_deviation" : "NaN"
},
"false_positive_rate" : {
"value" : 0.6666666666666666,
"standard_deviation" : "NaN"
},
"false_negative_rate" : {
"value" : 0.0,
"standard_deviation" : "NaN"
},
"receiver_operating_characteristic_curve" : {
"false_positive_rates" : [ 0.0, 0.0, 0.0, 0.0, 0.0, 1.0 ],
"true_positive_rates" : [ 0.0, 0.25, 0.5, 0.75, 1.0, 1.0 ]
},
"precision_recall_curve" : {
"precisions" : [ 1.0, 1.0, 1.0, 1.0, 1.0 ],
"recalls" : [ 0.0, 0.25, 0.5, 0.75, 1.0 ]
},
"auc" : {
"value" : 1.0,
"standard_deviation" : "NaN"
},
"f0_5" : {
"value" : 0.3846153846153846,
"standard_deviation" : "NaN"
},
"f1" : {
"value" : 0.5,
"standard_deviation" : "NaN"
},
"f2" : {
"value" : 0.7142857142857143,
"standard_deviation" : "NaN"
},
"f0_5_best_constant_classifier" : {
"value" : 0.29411764705882354,
"standard_deviation" : "NaN"
},
"f1_best_constant_classifier" : {
"value" : 0.4,
"standard_deviation" : "NaN"
},
"f2_best_constant_classifier" : {
"value" : 0.625,
"standard_deviation" : "NaN"
}
}
```
## Metrik multiclass
Berikut ini menunjukkan contoh metrik yang dihitung oleh monitor kualitas model untuk masalah klasifikasi multiclass.
```
"multiclass_classification_metrics" : {
"confusion_matrix" : {
"0" : {
"0" : 1180,
"1" : 510
},
"1" : {
"0" : 268,
"1" : 138
}
},
"accuracy" : {
"value" : 0.6288167938931297,
"standard_deviation" : 0.00375663881299405
},
"weighted_recall" : {
"value" : 0.6288167938931297,
"standard_deviation" : 0.003756638812994008
},
"weighted_precision" : {
"value" : 0.6983172269629505,
"standard_deviation" : 0.006195912915307507
},
"weighted_f0_5" : {
"value" : 0.6803947317178771,
"standard_deviation" : 0.005328406973561699
},
"weighted_f1" : {
"value" : 0.6571162346664904,
"standard_deviation" : 0.004385008075019733
},
"weighted_f2" : {
"value" : 0.6384024354394601,
"standard_deviation" : 0.003867109755267757
},
"accuracy_best_constant_classifier" : {
"value" : 0.19370229007633588,
"standard_deviation" : 0.0032049848450732355
},
"weighted_recall_best_constant_classifier" : {
"value" : 0.19370229007633588,
"standard_deviation" : 0.0032049848450732355
},
"weighted_precision_best_constant_classifier" : {
"value" : 0.03752057718081697,
"standard_deviation" : 0.001241536088657851
},
"weighted_f0_5_best_constant_classifier" : {
"value" : 0.04473443104152011,
"standard_deviation" : 0.0014460485504284792
},
"weighted_f1_best_constant_classifier" : {
"value" : 0.06286421244683643,
"standard_deviation" : 0.0019113576884608862
},
"weighted_f2_best_constant_classifier" : {
"value" : 0.10570313141262414,
"standard_deviation" : 0.002734216826748117
}
}
```
## Memantau metrik kualitas model dengan CloudWatch
Jika Anda menetapkan nilai `True` saat Anda membuat jadwal pemantauan, pekerjaan pemantauan kualitas model mengirimkan semua metrik ke CloudWatch. `enable_cloudwatch_metrics`
Metrik kualitas model muncul di namespace berikut:
+ Untuk titik akhir waktu nyata: `aws/sagemaker/Endpoints/model-metrics`
+ Untuk pekerjaan transformasi batch: `aws/sagemaker/ModelMonitoring/model-metrics`
Untuk daftar metrik yang dipancarkan, lihat bagian sebelumnya di halaman ini.
Anda dapat menggunakan CloudWatch metrik untuk membuat alarm ketika metrik tertentu tidak memenuhi ambang batas yang Anda tentukan. Untuk petunjuk tentang cara membuat CloudWatch alarm, lihat [Membuat CloudWatch alarm berdasarkan ambang batas statis](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/ConsoleAlarms.html) di *Panduan CloudWatch Pengguna*.