Одна строка в системном промпте отключала кеш целиком. 1% против 98% на живых вызовах
Токен, прочитанный из кеша, стоит не «немного дешевле». Он дешевле в 10–31 раз : DeepSeek — $0.44 против $0.014 за миллион, OpenAI — $4.00 против $0…
Open Source
⚑ Report a ProblemLatest Open Source news from Tech News