DevOps — Tech News

All topics agents ai api architecture automation aws backend beginners cloud database devchallenge devops docker javascript kubernetes llm machinelearning mcp node opensource performance productivity programming python security showdev testing tutorial typescript webdev

RU

Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090

Плотная 27-миллиардная модель на двух RTX 3090 в llama.cpp из коробки даёт 32 токена в секунду. Интуитивно понятно, что это не предел: две карты по…

llm ai llama.cpp qwen qwen3.8 gguf квантование локальные нейросети локальные модели