RU

Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090

Плотная 27-миллиардная модель на двух RTX 3090 в llama.cpp из коробки даёт 32 токена в секунду. Интуитивно понятно, что это не предел: две карты по…

llmaillama.cppqwenqwen3.8ggufквантованиелокальные нейросетилокальные модели
Habr
RU

Мой опыт с Hermes Agent — ненависть, любовь, ненависть, любовь

Началось все с установки. Я пошёл почти по самому простому пути - установил его на Mac, в Docker. Потому что это агент, который работает автономно и…

hermes agentai-агентыllmлокальный llmлокальные моделиqwenagentic workflowsai automationworkflowgo
Habr
RU

Деперсонализация через QWENы или как завести маленького домашнего ИБшника

Приветики-пистолетики! Это Кирилл из Neuromed и сегодня я хотел бы затронуть вопрос деперсонализации. Да, этот тренд возможно уже уходящий, т к все…

информационная безопасностьискусственный интеллектдеперсонализацияdevopsragllm-моделиqwenлокальные моделинастройкаархитектура приложений
Habr
RU

MTP у Qwen3.6 в llama.cpp обещает ×2 по скорости. Я прогнал ту же модель через своего агента — и получил обратное

Привет, Хабр. Меня зовут Лазутин Алексей, я  не профессиональный разработчик . SEO, аудиты сайтов, куча рутины с CSV, curl, отчётами для програ…

локальные llmqwenmtplm studioбенчмаркагентыtool calling
Habr