Контекст растёт, KV-кэш — нет: Qwen3.8-27B на ограниченной VRAM с CMF формате
Qwen3.8-27B в Q4TP занимает около 14,3 GB весов, но при длинном контексте упирается ещё и в KV-кэш. Для 16 full-attention слоёв этой гибридной модел…
AI & ML
⚑ Сообщить о проблемеПоследние новости AI & ML от Tech News