Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Arsitektur solusi
Arsitektur berikut mengimplementasikan cache semantik read-through untuk agen di Amazon Bedrock. AgentCore Permintaan mengikuti salah satu dari dua jalur:
Cache hit - Jika ElastiCache menemukan kueri sebelumnya di atas ambang kesamaan yang dikonfigurasi, segera AgentCore mengembalikan jawaban yang di-cache. Jalur ini hanya memanggil model penyematan dan tidak memerlukan inferensi LLM. Jalur ini memiliki latensi end-to-end tingkat milidetik dan tidak menimbulkan biaya inferensi LLM.
Cache miss — Jika tidak ada kueri sebelumnya yang serupa ditemukan, AgentCore memanggil LLM untuk menghasilkan jawaban baru dan mengembalikannya ke pengguna. Aplikasi kemudian men-cache penyematan dan jawaban prompt ElastiCache sehingga prompt serupa di masa mendatang dapat disajikan dari cache.
