翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ベストプラクティス

キャッシュできるデータの選択

セマンティックキャッシュは、レスポンスが比較的安定している反復クエリに適していますが、リアルタイムレスポンスまたは高度に動的なレスポンスはキャッシュの候補として適さないことがよくあります。

既存のアプリケーションコンテキスト (製品 ID、カテゴリ、リージョン、ユーザーセグメントなど) から派生したタグフィルターと数値フィルターを使用して、キャッシュの対象となるクエリとレスポンスを決定し、キャッシュヒットの関連性を向上させます。

類似度しきい値の調整

類似度しきい値は、キャッシュヒット率と回答品質のトレードオフを制御します。コスト削減とユースケースの精度のバランスを取るしきい値を選択します。

スタンドアロンクエリと会話

キャッシュ無効化期間の設定

TTL を使用して、キャッシュミスで再生成される前にキャッシュされたレスポンスが提供される期間を制御します。

# Set TTL with random jitter to spread out cache invalidations
import random

base_ttl = 82800  # ~23 hours
jitter = random.randint(0, 3600)  # Up to 1 hour of jitter
valkey_client.expire(cache_key, base_ttl + jitter)

モニタリングとコスト追跡

キャッシュパフォーマンスメトリクスを追跡して、セマンティックキャッシュを経時的に最適化します。

def record_cache_event(valkey_client, event_type: str):
    """Track cache hits and misses using atomic counters."""
    valkey_client.incr(f"cache:metrics:{event_type}")

    # Also track hourly for time-series analysis
    from datetime import datetime
    hour_key = datetime.now().strftime("%Y%m%d%H")
    counter_key = f"cache:metrics:{event_type}:{hour_key}"
    valkey_client.incr(counter_key)
    valkey_client.expire(counter_key, 86400 * 7)  # Keep 7 days

def get_cache_stats(valkey_client) -> dict:
    """Get current cache performance metrics."""
    hits = int(valkey_client.get("cache:metrics:hit") or 0)
    misses = int(valkey_client.get("cache:metrics:miss") or 0)
    total = hits + misses
    hit_rate = hits / total if total > 0 else 0

    avg_cost_per_call = 0.015  # Example: ~$0.015 per LLM call
    savings = hits * avg_cost_per_call

    return {
        "total_requests": total,
        "hits": hits,
        "misses": misses,
        "hit_rate": round(hit_rate, 3),
        "estimated_savings_usd": round(savings, 2),
    }

メモリ管理