35B‑модель на RTX 5080 и RTX 3060: 109 ток/с через PCIe Gen2 x4
Моя RTX 3060 на PCIe Gen2 x4 не мешает генерации Qwen3.6–35B‑A3B со скоростью 109 ток/с. Разбираю, почему это работает…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Сколько инструментов показывать языковой модели: гипотеза, которую перечеркнул замер
У нашего ИИ-оркестратора более девяноста инструментов: работа с таблицами, документами, почтой, задачами, веб-страницами, презентациями и т.д. При о…
«Учиться учиться и еще раз учиться» или дообучение LoRA
Всегда нравилось разбираться во всем новом, работал в компаниях с разными видами деятельности: консалтинг, добыча, торговля, услуги. Разбираясь в но…
Hermes + Qwen3.6-27B: как я собрал первую линию email-поддержки
Я решил в качестве эксперимента собрать первую линию email-поддержки вокруг локальной LLM — без файн-тюнинга и попыток сразу заменить всю службу под…
ИИ Qwen3.6-27B запустили на смартфоне: 1 бит на вес и 90% интеллекта оригинала
Стартап PrismML представил Bonsai 27B — сжатые версии открытой модели Qwen3.6-27B, младшая из которых стала первой нейросетью такого класса, к…
Контекстная инженерия для слабой локальной модели: как мы делаем среднюю модель надёжной
Принято думать, что качество ИИ-агента упирается в размер модели. Но когда модель работает локально, в закрытом контуре и на ограниченном железе, бр…
Тесты бюджетных сборок для ИИ до 100к рублей
Локальный ИИ не должен стоить как автомобиль. Мне стало интересно: возможен ли жизнеспособный инференс на CPU и что реально дают дешевые GPU (вроде…
Локальные LLM на Arch Linux и как увеличить скорость генерации в 20 раз
Приветствую всех читателей Хабра, в этой статье я хочу поделиться своим опытом в запуске локальных LLM, протестировать работоспособность и…
Claude Code с локальными Qwen3.6 на AMD Strix Halo: полное руководство по настройке
Всем привет! Продолжаю тему локальных LLM. В предыдущей статье мы сравнивали железо для инференса — Nvidia DGX Spark, Mac Studio M3 Ultra и St…
Tesla v100 SXM2 X2 32GB total
В этом материале я разбираю практический кейс: развёртывание Qwen3.6-27B на двух Tesla V100-SXM2-16GB под управлением автономного агента Herme…
Qwen3.6 MTP весит на +0.3 Гб больше, а даёт ускорение в ~2 раза. С 60 t/s до 130 t/s для Qwen3.6 27B без искажений
В llama.cpp добавили поддержку MTP Qwen3.6. Дополнительные слои Multi-Token Prediction позволяют сгенерировать сразу несколько токенов за 1 проход,…
Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder
Привет, меня зовут Вячеслав. Я интересуюсь локальными LLM и тем, как они ведут себя в реальных задачах — не на синтетически…