RU

«Давайте просто развернём свою LLM на 1Т параметров»: что пришлось построить вокруг неё в Битрикс24

В просьбе «давайте просто развернём свою LLM на 1Т параметров» больше всего вопросов к слову «просто». Допустим, модель уже работает.…

LLMself-hostedLLMOpsAI-платформаинференсprefix cacheKV-cacheAI-агенты
Habr
RU

Одна строка в системном промпте отключала кеш целиком. 1% против 98% на живых вызовах

Токен, прочитанный из кеша, стоит не «немного дешевле». Он дешевле в 10–31 раз : DeepSeek — $0.44 против $0.014 за миллион, OpenAI — $4.00 против $0…

prompt cachingкеширование промптовLLMоптимизация затратprefix cachehit rateDeepSeekAnthropicOpenAIPython