기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

모범 사례

캐시할 수 있는 데이터 선택

시맨틱 캐싱은 응답이 비교적 안정적인 반복 쿼리에 적합한 반면, 실시간 또는 매우 동적인 응답은 캐싱에 적합하지 않은 경우가 많습니다.

기존 애플리케이션 컨텍스트(예: 제품 ID, 범주, 리전 또는 사용자 세그먼트)에서 파생된 태그 및 숫자 필터를 사용하여 캐싱에 적합한 쿼리 및 응답을 결정하고 캐시 적중의 관련성을 개선합니다.

유사성 임계값 튜닝

유사성 임계값은 캐시 적중률과 응답 품질 간의 균형을 제어합니다. 사용 사례에 맞게 비용 절감과 정확성의 균형을 맞추는 임계값을 선택합니다.

독립 실행형 쿼리와 대화 비교

캐시 무효화 기간 설정

TTL을 사용하여 캐시 누락 시 재생성되기 전에 캐시된 응답이 제공되는 기간을 제어할 수 있습니다.

# Set TTL with random jitter to spread out cache invalidations
import random

base_ttl = 82800  # ~23 hours
jitter = random.randint(0, 3600)  # Up to 1 hour of jitter
valkey_client.expire(cache_key, base_ttl + jitter)

모니터링 및 비용 추적

캐시 성능 지표를 추적하여 시간 경과에 따라 의미 체계 캐시를 최적화합니다.

def record_cache_event(valkey_client, event_type: str):
    """Track cache hits and misses using atomic counters."""
    valkey_client.incr(f"cache:metrics:{event_type}")

    # Also track hourly for time-series analysis
    from datetime import datetime
    hour_key = datetime.now().strftime("%Y%m%d%H")
    counter_key = f"cache:metrics:{event_type}:{hour_key}"
    valkey_client.incr(counter_key)
    valkey_client.expire(counter_key, 86400 * 7)  # Keep 7 days

def get_cache_stats(valkey_client) -> dict:
    """Get current cache performance metrics."""
    hits = int(valkey_client.get("cache:metrics:hit") or 0)
    misses = int(valkey_client.get("cache:metrics:miss") or 0)
    total = hits + misses
    hit_rate = hits / total if total > 0 else 0

    avg_cost_per_call = 0.015  # Example: ~$0.015 per LLM call
    savings = hits * avg_cost_per_call

    return {
        "total_requests": total,
        "hits": hits,
        "misses": misses,
        "hit_rate": round(hit_rate, 3),
        "estimated_savings_usd": round(savings, 2),
    }

메모리 관리