RU

Mac mini feat OpenClaw: проверяем локальный инференс LLM

Локальный инференс LLM требует не только мощного GPU, но и огромной ширины шины памяти. Объединенная память Apple Silicon частично решает проблему нех…

openclawmac miniselectelit-компанииit-инфраструктураинференсllmжелезо для нейросетей
Habr
RU

Tensordyne Napier — еще одно решение на замену традиционных GPU в инференсе

Почти каждый месяц очередной стартап, производящий серверное железо, объявляет о своих ноу-хау. Естественно, ориентированных на задачи инференса и обу…

selectelit-компанииit-инфраструктураgpuинференсsram
Habr
RU

DGX Spark на 256K контексте: тестирую конфигурации vLLM, реальные замеры и почему NVFP4 в mainline сломан

NVIDIA продаёт спарку с лозунгом «один петафлоп на FP4». Я купил коробку, поставил vLLM, запустил инференс и получил 40 токенов в …

vllmdgx sparkgb10blackwellnvfp4llmинференслокальный ии