Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Log dan Metrik Pipa Inferensi
<a name="inference-pipeline-logs-metrics"></a>

Pemantauan penting untuk menjaga keandalan, ketersediaan, dan kinerja sumber daya Amazon SageMaker AI. Untuk memantau dan memecahkan masalah performa pipeline inferensi, gunakan CloudWatch log Amazon dan pesan kesalahan. Untuk informasi tentang alat pemantauan yang disediakan SageMaker AI, lihat[Memantau AWS sumber daya di Amazon SageMaker AI](monitoring-overview.md).

## Gunakan Metrik untuk Memantau Model Multi-container
<a name="inference-pipeline-metrics"></a>

Untuk memantau model multi-kontainer di Inference Pipelines, gunakan Amazon. CloudWatch CloudWatchmengumpulkan data mentah dan memprosesnya menjadi metrik yang dapat dibaca, mendekati waktu nyata. SageMaker Pekerjaan pelatihan AI dan titik akhir menulis CloudWatch metrik dan log di namespace. `AWS/SageMaker` 

Tabel berikut mencantumkan metrik dan dimensi untuk hal-hal berikut:
+ Pemanggilan titik akhir
+ Pekerjaan pelatihan, pekerjaan transformasi batch, dan instance titik akhir

*Dimensi* adalah name/value pasangan yang secara unik mengidentifikasi metrik. Anda dapat menetapkan hingga 10 dimensi ke metrik. Untuk informasi lebih lanjut tentang pemantauan dengan CloudWatch, lihat[Metrik Amazon SageMaker AI di Amazon CloudWatch](monitoring-cloudwatch.md). 

**Metrik Pemanggilan Titik Akhir**

`AWS/SageMaker`Namespace menyertakan metrik permintaan berikut dari panggilan ke. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html)

Metrik dilaporkan pada interval 1 menit.


| Metrik | Deskripsi | 
| --- | --- | 
| Invocation4XXErrors | Jumlah `InvokeEndpoint` permintaan yang model mengembalikan kode respons `4xx` HTTP untuk. Untuk setiap `4xx` respons, SageMaker AI mengirimkan file`1`.<br />Satuan: Tidak ada<br />Statistik yang valid: `Average`, `Sum` | 
| Invocation5XXErrors | Jumlah `InvokeEndpoint` permintaan yang model mengembalikan kode respons `5xx` HTTP untuk. Untuk setiap `5xx` respons, SageMaker AI mengirimkan file`1`.<br />Satuan: Tidak ada<br />Statistik yang valid: `Average`, `Sum` | 
| Invocations | `number of InvokeEndpoint`Permintaan dikirim ke titik akhir model. <br />Untuk mendapatkan jumlah total permintaan yang dikirim ke titik akhir model, gunakan `Sum` statistik.<br />Satuan: Tidak ada<br />Statistik yang valid: `Sum`, `Sample Count` | 
| InvocationsPerInstance | Jumlah pemanggilan titik akhir yang dikirim ke model, dinormalisasi oleh masing-masing. `InstanceCount` `ProductionVariant` SageMaker AI mengirimkan `numberOfInstances` 1/sebagai nilai untuk setiap permintaan, di mana `numberOfInstances` jumlah instans aktif untuk titik akhir ProductionVariant pada saat permintaan.<br />Satuan: Tidak ada<br />Statistik valid: `Sum` | 
| ModelLatency | Waktu yang dibutuhkan model atau model untuk merespons. Ini termasuk waktu yang dibutuhkan untuk mengirim permintaan, untuk mengambil respons dari wadah model, dan untuk menyelesaikan inferensi dalam wadah. ModelLatencyadalah total waktu yang dibutuhkan oleh semua kontainer dalam pipa inferensi.Unit: Mikrodetik<br />Statistik yang valid:`Average`,`Sum`,`Min`,`Max`, Jumlah Sampel | 
| OverheadLatency | Waktu ditambahkan ke waktu yang dibutuhkan untuk menanggapi permintaan klien oleh SageMaker AI untuk overhead. `OverheadLatency`diukur dari saat SageMaker AI menerima permintaan hingga mengembalikan respons ke klien, dikurangi`ModelLatency`. Latensi overhead dapat bervariasi tergantung pada ukuran payload permintaan dan respons, frekuensi permintaan, dan otentikasi atau otorisasi permintaan, di antara faktor-faktor lainnya.<br />Unit: Mikrodetik<br />Statistik yang valid:`Average`,`Sum`,`Min`,`Max`, `Sample Count` | 
| ContainerLatency | Waktu yang dibutuhkan wadah Inference Pipelines untuk merespons seperti yang dilihat dari SageMaker AI. ContainerLatencytermasuk waktu yang dibutuhkan untuk mengirim permintaan, untuk mengambil respons dari wadah model, dan untuk menyelesaikan inferensi dalam wadah.Unit: Mikrodetik<br />Statistik yang valid:`Average`,`Sum`,`Min`,`Max`, `Sample Count` | 

**Dimensi untuk Metrik Pemanggilan Titik Akhir**


| Dimensi | Deskripsi | 
| --- | --- | 
| EndpointName, VariantName, ContainerName | Memfilter metrik pemanggilan titik akhir untuk a `ProductionVariant` pada titik akhir yang ditentukan dan untuk varian yang ditentukan. | 

**Untuk titik akhir pipeline inferensi, cantumkan metrik CloudWatch latensi per kontainer di akun Anda sebagai Metrik **Kontainer Titik Akhir dan Metrik **Varian Titik Akhir**** di namespace AI, sebagai berikut. SageMaker ** `ContainerLatency`Metrik hanya muncul untuk pipa inferensi.

![CloudWatch Dasbor untuk pipa inferensi.](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/pipeline-endpoint-metrics.png)


Untuk setiap titik akhir dan setiap kontainer, metrik latensi menampilkan nama untuk penampung, titik akhir, varian, dan metrik.

![Metrik latensi untuk titik akhir.](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/pipeline-endpoint-metrics-details.png)


**Training Job, Batch Transform Job, dan Metrik Instance Endpoint**

Ruang nama`/aws/sagemaker/TrainingJobs`,`/aws/sagemaker/TransformJobs`, dan `/aws/sagemaker/Endpoints` menyertakan metrik berikut untuk pekerjaan pelatihan dan instance titik akhir.

Metrik dilaporkan pada interval 1 menit.


| Metrik | Deskripsi | 
| --- | --- | 
| CPUUtilization | Persentase unit CPU yang digunakan oleh kontainer yang berjalan pada sebuah instance. Nilainya berkisar dari 0% hingga 100%, dan dikalikan dengan jumlah CPU. Misalnya, jika ada empat CPU, `CPUUtilization` dapat berkisar dari 0% hingga 400%.<br />Untuk pekerjaan pelatihan, `CPUUtilization` adalah pemanfaatan CPU dari wadah algoritma yang berjalan pada instance.<br />Untuk pekerjaan transformasi batch, `CPUUtilization` adalah pemanfaatan CPU dari wadah transformasi yang berjalan pada instance.<br />Untuk model multi-kontainer, `CPUUtilization` adalah jumlah pemanfaatan CPU oleh semua kontainer yang berjalan pada instance.<br />Untuk varian endpoint, `CPUUtilization` adalah jumlah pemanfaatan CPU oleh semua container yang berjalan pada instance.<br />Unit: Persen | 
| MemoryUtilization | Persentase memori yang digunakan oleh kontainer yang berjalan pada sebuah instance. Nilai ini berkisar dari 0% hingga 100%.<br />Untuk pekerjaan pelatihan, `MemoryUtilization` adalah memori yang digunakan oleh wadah algoritma yang berjalan pada instance.<br />Untuk pekerjaan transformasi batch, `MemoryUtilization` adalah memori yang digunakan oleh wadah transformasi yang berjalan pada instance.Untuk model multi-kontainer, MemoryUtilization adalah jumlah memori yang digunakan oleh semua kontainer yang berjalan pada instance.<br />Untuk varian endpoint, `MemoryUtilization` adalah jumlah memori yang digunakan oleh semua container yang berjalan pada instance.<br />Unit: Persen | 
| GPUUtilization | Persentase unit GPU yang digunakan oleh kontainer yang berjalan pada sebuah instance. `GPUUtilization`berkisar dari 0% hingga 100% dan dikalikan dengan jumlah GPU. Misalnya, jika ada empat GPU, `GPUUtilization` dapat berkisar dari 0% hingga 400%.<br />Untuk pekerjaan pelatihan, `GPUUtilization` adalah GPU yang digunakan oleh wadah algoritma yang berjalan pada instance.<br />Untuk pekerjaan transformasi batch, `GPUUtilization` adalah GPU yang digunakan oleh wadah transformasi yang berjalan pada instance.<br />Untuk model multi-kontainer, `GPUUtilization` adalah jumlah GPU yang digunakan oleh semua kontainer yang berjalan pada instance.<br />Untuk varian endpoint, `GPUUtilization` adalah jumlah GPU yang digunakan oleh semua container yang berjalan pada instance.<br />Unit: Persen | 
| GPUMemoryUtilization | Persentase memori GPU yang digunakan oleh kontainer yang berjalan pada sebuah instance. GPUMemoryUtilization berkisar dari 0% hingga 100% dan dikalikan dengan jumlah GPU. Misalnya, jika ada empat GPU, `GPUMemoryUtilization` dapat berkisar dari 0% hingga 400%.<br />Untuk pekerjaan pelatihan, `GPUMemoryUtilization` adalah memori GPU yang digunakan oleh wadah algoritma yang berjalan pada instance.<br />Untuk pekerjaan transformasi batch, `GPUMemoryUtilization` adalah memori GPU yang digunakan oleh wadah transformasi yang berjalan pada instance.<br />Untuk model multi-kontainer, `GPUMemoryUtilization` adalah jumlah GPU yang digunakan oleh semua kontainer yang berjalan pada instance.<br />Untuk varian endpoint, `GPUMemoryUtilization` adalah jumlah memori GPU yang digunakan oleh semua container yang berjalan pada instance.<br />Unit: Persen | 
| DiskUtilization | Persentase ruang disk yang digunakan oleh kontainer yang berjalan pada sebuah instance. DiskUtilization berkisar dari 0% hingga 100%. Metrik ini tidak didukung untuk pekerjaan transformasi batch.<br />Untuk pekerjaan pelatihan, `DiskUtilization` adalah ruang disk yang digunakan oleh wadah algoritma yang berjalan pada instance.<br />Untuk varian endpoint, `DiskUtilization` adalah jumlah ruang disk yang digunakan oleh semua kontainer yang disediakan yang berjalan pada instance.<br />Unit: Persen | 

**Dimensi untuk Training Job, Batch Transform Job, dan Endpoint Instance Metrics**


| Dimensi | Deskripsi | 
| --- | --- | 
| Host | Untuk pekerjaan pelatihan, `Host` memiliki format`[training-job-name]/algo-[instance-number-in-cluster]`. Gunakan dimensi ini untuk memfilter metrik instance untuk pekerjaan dan instance pelatihan yang ditentukan. Format dimensi ini hanya ada di `/aws/sagemaker/TrainingJobs` namespace.<br />Untuk pekerjaan transformasi batch, `Host` memiliki format`[transform-job-name]/[instance-id]`. Gunakan dimensi ini untuk memfilter metrik instance untuk pekerjaan dan instance transformasi batch yang ditentukan. Format dimensi ini hanya ada di `/aws/sagemaker/TransformJobs` namespace.<br />Untuk titik akhir, `Host` memiliki format`[endpoint-name]/[ production-variant-name ]/[instance-id]`. Gunakan dimensi ini untuk memfilter metrik instance untuk titik akhir, varian, dan instance yang ditentukan. Format dimensi ini hanya ada di `/aws/sagemaker/Endpoints` namespace. | 

Untuk membantu Anda men-debug pekerjaan pelatihan, titik akhir, dan konfigurasi siklus hidup instance notebook, SageMaker AI juga mengirimkan apa pun yang dikirim oleh container algoritme, wadah model, atau konfigurasi siklus hidup instance notebook ke atau ke Amazon Logs. `stdout` `stderr` CloudWatch Anda dapat menggunakan informasi ini untuk debugging dan untuk menganalisis kemajuan.

## Gunakan Log untuk Memantau Pipa Inferensi
<a name="inference-pipeline-logs"></a>

Tabel berikut mencantumkan grup log dan aliran log SageMaker AI. kirim ke Amazon CloudWatch 

*Pengaliran log* adalah urutan log acara yang berbagi sumber yang sama. Setiap sumber log yang CloudWatch terpisah menjadi aliran log terpisah. *Grup log* adalah grup log stream yang berbagi pengaturan retensi, pemantauan, dan kontrol akses yang sama.

**Log**



- **`/aws/sagemaker/TrainingJobs`**
  - `[training-job-name]/algo-[instance-number-in-cluster]-[epoch_timestamp]`

- **`/aws/sagemaker/Endpoints/[EndpointName]`**
  - `[production-variant-name]/[instance-id]`
  - `[production-variant-name]/[instance-id]`
  - `[production-variant-name]/[instance-id]/[container-name provided in the SageMaker AI model] (For Inference Pipelines)`Untuk log Inference Pipelines, jika Anda tidak memberikan nama kontainer, CloudWatch gunakan\*\*container-1, container-2\*\*, dan seterusnya, dalam urutan kontainer disediakan dalam model.

- **`/aws/sagemaker/NotebookInstances`**
  - `[notebook-instance-name]/[LifecycleConfigHook]`

- **`/aws/sagemaker/TransformJobs`**
  - `[transform-job-name]/[instance-id]-[epoch_timestamp]`
  - `[transform-job-name]/[instance-id]-[epoch_timestamp]/data-log`
  - `[transform-job-name]/[instance-id]-[epoch_timestamp]/[container-name provided in the SageMaker AI model] (For Inference Pipelines)`Untuk log Inference Pipelines, jika Anda tidak memberikan nama kontainer, CloudWatch gunakan\*\*container-1, container-2\*\*, dan seterusnya, dalam urutan kontainer disediakan dalam model.



**catatan**  
SageMaker AI membuat grup `/aws/sagemaker/NotebookInstances` log saat Anda membuat instance notebook dengan konfigurasi siklus hidup. Untuk informasi selengkapnya, lihat [Kustomisasi instance SageMaker notebook menggunakan skrip LCC](notebook-lifecycle-config.md).

Untuk informasi selengkapnya tentang pencatatan SageMaker AI, lihat[CloudWatch Log untuk Amazon SageMaker AI](logging-cloudwatch.md).