Tech News — Latest News

Сломанный кэш выглядит как рабочий: prompt caching для тех, кто строит LLM-агентов

Кэш режет цену входных токенов в десять раз и держит юнит-экономику агентов, но ломается без единой ошибки в логах. Что на самом деле кэшируется, чем …

prompt caching KV cache кэширование контекста LLM-агенты cache_control Gemini context caching cache hit rate кэширование промптов промпт-кэш