RU

Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp

Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑м…

llama.cppgpt-ossлокальные моделиMoEвидеопамятьKV-кэшбенчмаркиGTX 1660
Habr
RU

Выбор агентской модели для кластеров из 2× DGX Spark (сентябрь 2026)

В сентябре 2026 года на Hugging Face есть 3 модели, которые хочется поставить на пару DGX Spark под Claude Code: DeepS…

DGX SparkGB10vLLMNVFP4MoEтензорный параллелизмClaude Codeprefix cachingспекулятивное декодированиелокальные LLM
Habr
RU

Как запустить LLM на 2,8 трлн параметров на ноутбуке

Локальный запуск больших LLM быстро упирается в память: веса не помещаются, оффлоад режет скорость, а красивые бенчмарки мало го…

LLMлокальный запуск LLMMoEMixture of Expertsинференсквантование моделейоффлоад экспертовиерархия памятипропускная способность памятиKimi K3.
Habr
RU

DeepSeek 0731 на DGX Spark: разгоняю до 68 tok/s и разбираюсь, почему у автора карточки 57

TL;DR Железо:  2× NVIDIA DGX Spark (GB10, SM121), 128 GB unified номинально и около 122 GiB видимых системе на ноду, QSFP 200G /…

DGX SparkvLLMLLM инференсбенчмаркспекулятивное декодированиеGB10MoEлокальные нейросетиspeculative decodingDeepSeek 0731
Habr
RU

Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите

Каждый из вас, кто работал с Claude или с ChatGPT, смотрел на свои лимиты Или задавался вопросом «Да как один запрос съел 10% от лимита» Я потратил…

LLMMoEactive-параметрыKV-cacheинференс LLMoutput-токеныreasoning-токеныVRAMclaude codecodex
Habr