Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Lacak penggunaan dan biaya di Amazon Bedrock
Amazon Bedrock menyediakan beberapa cara untuk mengatribusikan penggunaan inferensi model dan biaya kepada pengguna, tim, aplikasi, lingkungan, atau eksperimen tertentu. Anda dapat menggunakan satu mekanisme atau menggabungkan beberapa. Misalnya, gunakan atribusi utama IAM untuk visibilitas per pengguna bersama proyek untuk penandaan per aplikasi, dan minta metadata untuk pelacakan eksperimen per panggilan.
Tip
Jika Anda tidak yakin mekanisme mana yang sesuai dengan kasus penggunaan Anda, mulailah dengan Pertanyaan umum di akhir chapter ini. Ini menjawab pertanyaan keputusan umum seperti “Saya ingin atribusi per pengguna, per-prompt — apa pilihan saya?” dan “Apa perbedaan antara CUR klasik dan CUR 2.0?”.
Memilih pendekatan
Metode atribusi biaya yang Anda pilih bergantung pada dimensi mana yang ingin Anda lacak, API Amazon Bedrock mana yang Anda gunakan, dan tingkat perincian yang Anda butuhkan. Dua tabel berikut menyajikan pandangan yang saling melengkapi. Gunakan yang pertama untuk mencari mekanisme berdasarkan tujuan Anda, dan yang kedua untuk membandingkan mekanisme secara berdampingan.
Pilih berdasarkan tujuan
Jika Anda tahu apa yang Anda inginkan dari pelacakan biaya, mulailah dari sini.
| Jika tujuan Anda adalah... | Gunakan |
|---|---|
| Per-user atau dolar per tim pada tagihan Anda | Atribusi utama IAM |
| Per-application atau dolar per beban kerja | Profil inferensi aplikasi(bedrock-runtime), atau Proyek dan Workspace (bedrock-mantle) |
| Per-prompt penggunaan token dan biaya, diiris oleh dimensi apa pun | Per-request penandaan metadata, dengan log pemanggilan model |
| Per-user dan detail per prompt | Log pemanggilan model, dengan pengguna diambil dari identity ARN atau tag metadata permintaan |
| Baik dolar akurat faktur dan detail per prompt | Gabungkan metode asli (misalnya,Atribusi utama IAM) dengan Per-request penandaan metadata |
Bandingkan mekanisme
Tabel berikut membandingkan mekanisme yang tersedia dengan apa yang mereka biarkan Anda atribusikan, apa yang mereka keluarkan, perincian output itu, di mana data dikirim, dan titik akhir mana yang mereka dukung.
| Mekanisme | Atribut oleh | Output | Granularitas | Tujuan data | API yang didukung | bedrock-runtime |
bedrock-mantle |
|---|---|---|---|---|---|---|---|
| Atribusi utama IAM | Identitas IAM | Dolar yang ditagih | Agregat, per jenis penggunaan per hari | AWS Cost Explorer/CUR 2.0 | InvokeModel, Converse, Penyelesaian Obrolan |  |
 |
| Profil inferensi aplikasi | Tag sumber daya profil | Dolar yang ditagih | Agregat, per jenis penggunaan per hari | AWS Cost Explorer/CUR 2.0 | InvokeModel, Converse, Penyelesaian Obrolan | |
|
| Proyek | Tag sumber daya proyek | Dolar yang ditagih | Agregat, per jenis penggunaan per hari | AWS Cost Explorer/CUR 2.0 | Tanggapan, Penyelesaian Obrolan | |
|
| Workspace | Tag sumber daya proyek melalui header ruang kerja | Dolar yang ditagih | Agregat, per jenis penggunaan per hari | AWS Cost Explorer/CUR 2.0 | Pesan Antropik | |
|
| Per-request penandaan metadata | Per-request tag nilai kunci | Jumlah token (Anda mengonversi ke biaya) | Per permintaan | Hanya log pemanggilan | InvokeModel, InvokeModelWithResponseStream, Bercakap, ConverseStream | |
|
catatan
Metode asli (Atribusi utama IAM,, Profil inferensi aplikasiProyek, danWorkspace) mengirimkan dolar yang ditagih agregat ke AWS Cost Explorer dan CUR 2.0. Butir terbaik adalah per jenis penggunaan per hari, dikaitkan dengan identitas atau tag; mereka tidak menghasilkan baris per permintaan. Untuk detail per-prompt, gunakan log pemanggilan model, di mana setiap panggilan adalah catatan terpisah yang membawa jumlah tokennya sendiri.
Atribusi di balik gateway LLM
Saat gateway atau proxy memanggil Amazon Bedrock atas nama banyak pengguna, Amazon Bedrock mencatat peran IAM gateway sebagai identitas penelepon. Untuk mempertahankan atribusi tingkat pengguna, pilih berdasarkan output yang Anda butuhkan.
-
Untuk dolar per pengguna di alat penagihan Anda, minta gateway mengambil peran Amazon Bedrock per pengguna atau penyewa, menggunakan tag per pengguna atau sesi.
RoleSessionNameCache kredenal yang dihasilkan untuk masa pakai sesi untuk menghindari AWS STS panggilan pada setiap permintaan. Untuk informasi selengkapnya, lihat Atribusi utama IAM. -
Untuk detail per-prompt, atur metadata permintaan pengguna pada setiap panggilan. Metadata permintaan bervariasi per permintaan tanpa AWS STS panggilan tambahan, yang tag sesi tidak dapat dilakukan pada sesi bersama.
