View a markdown version of this page

Mengapa Valkey ElastiCache untuk caching semantik - Amazon ElastiCache

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengapa Valkey ElastiCache untuk caching semantik

Beban kerja caching semantik terus menulis, mencari, dan mengusir entri cache untuk melayani aliran kueri pengguna yang masuk sambil menjaga respons tetap segar. Penyimpanan cache harus memenuhi persyaratan berikut:

  • Real-time pembaruan vektor - Kueri dan tanggapan baru harus segera tersedia di cache untuk mempertahankan hit rate.

  • Low-latency pencarian — Cache berada di jalur permintaan online setiap kueri, jadi pencarian tidak boleh menambahkan penundaan yang jelas ke waktu respons pengguna akhir.

  • Manajemen singkat yang efisien — Entri sering ditulis, dibaca, dan diusir, membutuhkan manajemen hot set yang efisien.

ElastiCache untuk Valkey memenuhi persyaratan ini:

  • Pencarian vektor latensi terendah — Pada saat penulisan, ElastiCache untuk Valkey memberikan pencarian vektor latensi terendah dengan throughput tertinggi dan kinerja harga terbaik pada tingkat penarikan 95% + di antara database vektor populer di. AWS Latensi serendah mikrodetik dengan penarikan hingga 99%.

  • Arsitektur multithreaded — Pencarian vektor ElastiCache menggunakan arsitektur multithreaded yang mendukung pembaruan vektor real-time dan throughput tulis tinggi sambil mempertahankan latensi rendah untuk permintaan pencarian.

  • Built-in fitur cache - TTL (waktu untuk hidup), kebijakan penggusuran (allkeys-lru), dan operasi atom membantu mengelola kumpulan entri singkat yang dibuat oleh caching semantik.

  • Dukungan indeks vektor - ElastiCache mendukung algoritma indeks HNSW (Hierarchical Navigable Small World) dan FLAT dengan metrik jarak produk COSINE, Euclidean, dan dalam.

  • Zero-downtime skalabilitas — ElastiCache mendukung penskalaan tanpa downtime, memungkinkan Anda untuk menyesuaikan kapasitas saat cache Anda tumbuh.

  • Integrasi kerangka kerja - ElastiCache untuk Valkey terintegrasi dengan Amazon Bedrock AgentCore melalui LangGraph kerangka kerja, memungkinkan Anda menerapkan cache Valkey-backed semantik untuk agen yang dibangun di Amazon Bedrock.