GTX 1080 Ti не сдаётся: выбираем лучшую MoE-модель для llama-server среди 35B, 120B и 176B
Привет, Хабр! В прошлой статье я рассказывал, как запустить 176B-класс Qwen3.8-Flash-Next на GTX 1080 Ti, и тогда это был, скорее, эксперимент на гр…
Tech news from the best sources
Привет, Хабр! В прошлой статье я рассказывал, как запустить 176B-класс Qwen3.8-Flash-Next на GTX 1080 Ti, и тогда это был, скорее, эксперимент на гр…
В сентябре 2026-го разводить холивар о том, хватает ли 8 ГБ видеопамяти, уже как‑то неприлично. И даже не потому что в…
Наивная формула «веса + KV < VRAM» промахивается по двум причинам, и обе стоят денег. Первая: движок (vLLM, SGLang, TensorRT-LLM) резервирует поч…
Привет, Хабр! На связи Илья Мартысь из Рег.облака. Видеокарты RTX 5090 и RTX PRO 6000 Blackwell собраны на одном кристалле. Разница в цене — почти в…
Встала задача - срочно за вечер решить практический вопрос: какой квант ставить на карту и нужна ли мне RTX5090 домой (спойлер: нет, 9B и Q5/Q6 и я…
Привет, Хабр! На связи Илья Мартысь из Рег.облака. Каждый раз, когда выходит новое поколение ускорителей, в чатах начинается одно и то же: «брать B3…
Главный страх любого инженера ошибка CUDA Out of Memory . Мы выстраиваемся в очереди за H200 на 140 ГБ. Но как только мы спускаемся с уровня P…