RU

DSpark на двух DGX Spark: порт, баг на одну строку и бенчмарки, которые пришлось мерить заново

DeepSeek выпустил DSpark — спекулятивный декодер для V4. В окне 27–30 июня 2026 рабочего публичного пути для GB10 н…

dgx sparkdeepseekvllmспекулятивный декодингspeculative decodingdsparkllm-инференсбенчмаркиnvfp4nvfp8
Habr
RU

[Перевод] Как оптимизировать LLM-инференс в 2026 году

Если вы в 2026 году запускаете LLM в продакшене, то почти наверняка больше всего денег тратите на инференс. Одна неоптимизированная модель размером 70…

оптимизация инференсаllm в продакшенеmlopsvllmkv cachepagedattentionprefix cachingквантованиеспекулятивный декодинг
Habr
RU

DeepSeek‑V4‑Flash на двух DGX Spark: как мы убрали очередь и получили multi‑user

Подняли DeepSeek‑V4‑Flash на двух GB10, упёрлись в потолок consumer Blackwell, прошли три тупика со спекулятивным декодингом — и в итоге получили пара…

dgx sparkvllmdeepseek-v4gb10tensor parallelAGmindllm inferenceспекулятивный декодинг