RU

Сломанный кэш выглядит как рабочий: prompt caching для тех, кто строит LLM-агентов

Кэш режет цену входных токенов в десять раз и держит юнит-экономику агентов, но ломается без единой ошибки в логах. Что на самом деле кэшируется, чем …

prompt cachingKV cacheкэширование контекстаLLM-агентыcache_controlGemini context cachingcache hit rateкэширование промптовпромпт-кэш