Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Memantau kinerja Amazon Bedrock
Anda dapat memantau semua bagian aplikasi Amazon Bedrock Anda menggunakan Amazon CloudWatch, yang mengumpulkan data mentah dan memprosesnya menjadi metrik yang dapat dibaca, mendekati waktu nyata. Anda dapat membuat grafik metrik menggunakan CloudWatch konsol. Anda juga dapat menyetel alarm yang mengawasi ambang batas tertentu, dan mengirim pemberitahuan atau mengambil tindakan ketika nilai melebihi ambang batas tersebut.
Untuk informasi selengkapnya, lihat Apa itu Amazon CloudWatch di Panduan CloudWatch Pengguna Amazon.
Amazon Bedrock menyediakan kemampuan pemantauan komprehensif di berbagai komponen aplikasi Anda:
-
Memantau pemanggilan model menggunakan CloudWatch Log dan Amazon S3- Lacak dan analisis pemanggilan model menggunakan CloudWatch Log dan Amazon S3.
-
Pantau basis pengetahuan menggunakan CloudWatch Log- Memantau operasi dan kinerja basis pengetahuan.
-
Pantau Amazon Bedrock Guardrails menggunakan metrik CloudWatch- Lacak evaluasi pagar pembatas dan penegakan kebijakan.
-
Pantau Agen Amazon Bedrock menggunakan Metrik CloudWatch- Memantau pemanggilan agen dan metrik kinerja.
-
Metrik runtime Amazon Bedrock- Lihat metrik runtime kunci termasuk pemanggilan, latensi, kesalahan, dan jumlah token.
-
Pantau perubahan status pekerjaan Amazon Bedrock menggunakan Amazon EventBridge- Lacak perubahan status pekerjaan dan otomatiskan respons terhadap acara.
-
Pantau panggilan Amazon Bedrock API menggunakan CloudTrail- Audit panggilan API dan lacak aktivitas pengguna.
Topik
Metrik runtime Amazon Bedrock
Tabel berikut menjelaskan metrik runtime yang disediakan oleh Amazon Bedrock.
| Nama metrik | Unit | Deskripsi |
|---|---|---|
| Invokasi | SampleCount | Jumlah permintaan yang berhasil untuk operasi Converse, ConverseStream, InvokeModel, dan InvokeModelWithResponseStreamAPI. |
|
InvocationLatency |
MilliSeconds |
Waktu dari saat permintaan dikirim ke saat token terakhir diterima.
|
|
InvocationClientErrors |
SampleCount |
Jumlah pemanggilan yang menghasilkan kesalahan sisi klien. |
|
InvocationServerErrors |
SampleCount |
Jumlah pemanggilan yang menghasilkan kesalahan sisi AWS server. |
|
InvocationThrottles |
SampleCount |
Jumlah pemanggilan yang dibatasi oleh sistem. Permintaan yang dibatasi dan kesalahan pemanggilan lainnya tidak dihitung sebagai Pemanggilan atau Kesalahan. Jumlah throttle yang Anda lihat akan tergantung pada pengaturan coba ulang Anda di SDK. Untuk informasi selengkapnya, lihat Mencoba lagi perilaku di AWS SDK dan Panduan Referensi Alat. |
|
InputTokenCount |
SampleCount |
Jumlah token dalam input. |
| LegacyModelInvocations | SampleCount | Jumlah pemanggilan menggunakan model Legacy |
|
OutputTokenCount |
SampleCount |
Jumlah token dalam output. |
|
OutputImageCount |
SampleCount |
Jumlah gambar dalam output (hanya berlaku untuk model pembuatan gambar). |
|
TimeToFirstToken |
MilliSeconds |
Waktu dari saat permintaan dikirim ke saat token pertama diterima, untuk operasi API ConverseStreamdan InvokeModelWithResponseStreamstreaming. |
|
EstimatedTPMQuotaUsage |
SampleCount |
Estimasi konsumsi kuota Token Per Menit (TPM) di seluruh operasi Converse,, ConverseStreamInvokeModel, dan InvokeModelWithResponseStreamAPI. Metrik ini adalah perkiraan dan tidak mencerminkan konsumsi token berbasis reservasi yang mendorong keputusan pembatasan. Throttling didasarkan pada reservasi awal token input plus |
|
CacheReadInputTokens |
SampleCount |
Jumlah token masukan yang dibaca dari cache prompt. Token ini dibebankan pada tingkat yang lebih rendah dan tidak dihitung terhadap kuota TPM Anda. |
|
CacheWriteInputTokens |
SampleCount |
Jumlah token masukan yang ditulis ke cache prompt. Token ini dihitung dalam kuota TPM Anda. |
Ada juga metrik untuk Amazon Bedrock Guardrails dan Amazon Bedrock Agents.
Metrik pencatatan pemanggilan model CloudWatch
Untuk setiap upaya keberhasilan atau kegagalan pengiriman, CloudWatch metrik Amazon berikut akan dipancarkan di bawah namespaceAWS/Bedrock, dan dimensi: Across all model IDs
-
ModelInvocationLogsCloudWatchDeliverySuccess -
ModelInvocationLogsCloudWatchDeliveryFailure -
ModelInvocationLogsS3DeliverySuccess -
ModelInvocationLogsS3DeliveryFailure -
ModelInvocationLargeDataS3DeliverySuccess -
ModelInvocationLargeDataS3DeliveryFailure
Untuk mengambil metrik untuk operasi Amazon Bedrock, Anda menentukan informasi berikut:
-
Dimensi metrik. Dimensi adalah sekumpulan pasangan nama-nilai yang Anda gunakan untuk mengidentifikasi metrik. Amazon Bedrock mendukung dimensi berikut:
-
ModelId— semua metrik -
ModelId + ImageSize + BucketedStepSize– OutputImageCount
-
-
Nama metrik, seperti
InvocationClientErrors.
Anda bisa mendapatkan metrik untuk Amazon Bedrock dengan Konsol Manajemen AWS, the AWS CLI, atau API. CloudWatch Anda dapat menggunakan CloudWatch API melalui salah satu Kit Pengembangan Perangkat AWS Lunak (SDK) atau alat CloudWatch API.
Untuk melihat metrik Amazon Bedrock di CloudWatch konsol, buka bagian metrik di panel navigasi dan pilih opsi semua metrik, lalu cari ID model.
Anda harus memiliki CloudWatch izin yang sesuai untuk memantau Amazon Bedrock dengan CloudWatch Untuk informasi selengkapnya, lihat Otentikasi dan Kontrol Akses untuk Amazon CloudWatch di Panduan Pengguna Amazon CloudWatch .
