RU

Выбор агентской модели для кластеров из 2× DGX Spark (сентябрь 2026)

В сентябре 2026 года на Hugging Face есть 3 модели, которые хочется поставить на пару DGX Spark под Claude Code: DeepS…

DGX SparkGB10vLLMNVFP4MoEтензорный параллелизмClaude Codeprefix cachingспекулятивное декодированиелокальные LLM
Habr
RU

Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями

Когда меня однажды спросили, что такое инференс и как выглядит локальное развёртывание модели, я ответил правильно, но слишком общо. Через несколько…

LLMinferencevLLMCUDAROCmDGX SparkAI-агентыASRKV-кэшлокальный ИИ
Habr
RU

DeepSeek 0731 на DGX Spark: разгоняю до 68 tok/s и разбираюсь, почему у автора карточки 57

TL;DR Железо:  2× NVIDIA DGX Spark (GB10, SM121), 128 GB unified номинально и около 122 GiB видимых системе на ноду, QSFP 200G /…

DGX SparkvLLMLLM инференсбенчмаркспекулятивное декодированиеGB10MoEлокальные нейросетиspeculative decodingDeepSeek 0731